Implementations for a whole family of attention-mechanisms, tailored for many-to-one sequence tasks and compatible with TensorFlow 2.0 with Keras integration.

实时目标检测算法YOLOv3的检测速度较快且精度良好，但存在边界框定位不够精确、难以区分重叠物体等不足。提出了Attention-YOLO算法，该算法借鉴了基于项的注意力机制，将通道注意力及空间注意力机制加入特征提取网络之中，使用经过筛选加权的特征向量来替换原有的特征向量进行残差融合，同时添加二阶项来减少融合过程中的信息损失并加速模型收敛。通过在COCO和PASCAL VOC数据集上的实验表明，该算法有效降低了边界框的定位误差并提升了检测精度。相比YOLOv3算法在COCO测试集上的mAP@IoU[0.5：0.95]提升了最高2.5 mAP，在PASCAL VOC 2007测试集上达到了最高81.9 mAP。

论文讲解：https://blog.csdn.net/qq_33302004/article/details/114441024

Attention Mechanism注意力机制介绍，文本识别、语音识别、机器翻译

Attention.zip文件中总结了几种关于注意力机制的代码，有keras和tensorflow，还有PyTorch框架的

注意力机制是一种信息获取的通用机制，应用于从大量源数据中获取特定关键信息而避免对所有数据进行处理的场景。 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。

Attention-CNN 注意力机制细腻度图片分类。 ResNet改造

Attention Model在Image Caption、Machine Translation、Speech Recognition等领域上有着不错的结果。那么什么是Attention Model呢？举个例子，给下面这张图片加字幕（Image Caption）：一只黄色的小猫带着一个鹿角帽子趴在沙发上。可以发现在翻译的过程中我们的注意力由小猫到鹿角帽子再到沙发（小猫→鹿角帽子→沙发）。其实在很多和时序有关的事情上，人类的注意力都不是一成不变的，随着事情（时间）发展，我们的注意力不断改变。

该代码为基于RNN的Tensorflow实现文本分类任务的注意力机制，笔者亲测有效，不需要环境配置等，欢迎大家下载。