一份PPT带你快速了解Graph Transformer：包括Graph Transformer 的简要回顾且其与GNN、Transformer的关联 【图-注意力笔记，篇章1】Graph Transformer：包括Graph Transformer 的了解与回顾且其与GNN、Transformer的关联 【图-注意力笔记，篇章2】Graphormer 和 GraphFormers论文笔记之两篇经典Graph Transformer来入门 【异构图笔记，篇章3】GATNE论文阅读笔记与理解:General Attributed Multiplex HeTerogeneous Network Embedding 包含这几个部分 可以参考我的博客：https://blog.csdn.net/qq_41895003/article/details/129218936

Attention注意力机制，在传统的CNN模型和transform模型中均广泛使用。本文就主要对基于transform的注意力机制进行展开： 1. Attention是什么 2. Attention为什么要引入到语音领域 3. Attention的优点 4. transform与CNN的对比

针对零部件制造质量控制方面的缺陷检测，考虑到工业摄像头角度和零部件表面缺陷特征相对固定的特点，提出一种基于注意力机制的YOLO缺陷检测算法。围绕提升算法注意力，首先采用CZS算法，把图像上的缺陷区域剪切、缩放和拼接成新图像，使注意力集中于缺陷相关区域；然后采用裁减主干网络算法，裁减掉原版YOLOv3主干网络中无用的检测尺度层；最后使用数据增强算法增加训练样本量。实验案例结果表明：该算法检测精度99.2%,单帧图像检测时间0.01 s,性能均优于原版YOLOv3;该算法在固定摄像头场景下具有一定先进性，3项提升注意力的策略使算法训练精度收敛的更快、检测速度更快、检测性能更稳定。

利用ViT模型实现图像分类，本项目具有强大的泛化能力，可以实现任何图像分类任务，只需要修改数据集和类别数目参数。这里采用的是开源的“猫狗大战”数据集，实现猫狗分类。 本项目适用于Transformer初学者，通过该实践项目可以对于ViT模型的原理和结构有清晰地认识，并且可以学会在具体项目中如何运用ViT模型。本项目代码逻辑结构清晰，通俗易懂，适用于任何基础的学习者，是入门深度学习和了解Transformer注意力机制在计算机视觉中运用的绝佳项目。

基于注意力机制attention结合门控循环单元GRU分类预测，GRU-Attention分类预测。 多特征输入单输出的二分类及多分类模型。程序内注释详细，直接替换数据就可以用。 程序语言为matlab，程序可出分类效果图，迭代优化图，混淆矩阵图。

基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)回归预测，多变量输入模型。matlab代码，2020版本及以上。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。

基于卷积-长短期记忆网络加注意力机制（CNN-LSTM-Attention）的时间序列预测程序，预测精度很高。 可用于做风电功率预测，电力负荷预测等等 标记注释清楚，可直接换数据运行。 代码实现训练与测试精度分析。

CBAM注意力机制的MatLab代码实现，感兴趣的可以下载看看，代码分模块封装好了，简单易用！

基于注意力机制attention结合长短期记忆网络LSTM时间序列预测，LSTM-Attention时间序列预测，单输入单输出模型。 运行环境MATLAB版本为2020b及其以上。 评价指标包括:R2、MAE、MSE、RMSE等，代码质量极高，方便学习和替换数据。

基于卷积神经网络-长短期记忆网络结合注意力机制(CNN-LSTM-Attention)多变量时间序列预测，CNN-LSTM-Attention多维时间序列预测，多列变量输入模型。matlab代码，2020版本及以上。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。