在人类中，注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息来源的能力有限，注意力机制选择、调整和关注与行为最相关的信息。

B站讲解视频的PPT https://www.bilibili.com/video/BV1SA41147uA/

汇总了自Non-local和SENet之后的十几篇发表于CVPR/ICCV的经典的注意力方法，包括cbam、a2net、psanet、danet、apcnet、sknet、ccnet、gcnet、annnet、ocrnet、sanet、ecanet

Implementations for a whole family of attention-mechanisms, tailored for many-to-one sequence tasks and compatible with TensorFlow 2.0 with Keras integration.

实时目标检测算法YOLOv3的检测速度较快且精度良好，但存在边界框定位不够精确、难以区分重叠物体等不足。提出了Attention-YOLO算法，该算法借鉴了基于项的注意力机制，将通道注意力及空间注意力机制加入特征提取网络之中，使用经过筛选加权的特征向量来替换原有的特征向量进行残差融合，同时添加二阶项来减少融合过程中的信息损失并加速模型收敛。通过在COCO和PASCAL VOC数据集上的实验表明，该算法有效降低了边界框的定位误差并提升了检测精度。相比YOLOv3算法在COCO测试集上的mAP@IoU[0.5：0.95]提升了最高2.5 mAP，在PASCAL VOC 2007测试集上达到了最高81.9 mAP。

论文讲解：https://blog.csdn.net/qq_33302004/article/details/114441024

Attention Mechanism注意力机制介绍，文本识别、语音识别、机器翻译

Attention.zip文件中总结了几种关于注意力机制的代码，有keras和tensorflow，还有PyTorch框架的

注意力机制是一种信息获取的通用机制，应用于从大量源数据中获取特定关键信息而避免对所有数据进行处理的场景。 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。

Attention-CNN 注意力机制细腻度图片分类。 ResNet改造