bert的PPT byJacob Devlin. bert的第一作者， Google AI大佬

在人类中，注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息来源的能力有限，注意力机制选择、调整和关注与行为最相关的信息。

B站讲解视频的PPT https://www.bilibili.com/video/BV1SA41147uA/

汇总了自Non-local和SENet之后的十几篇发表于CVPR/ICCV的经典的注意力方法，包括cbam、a2net、psanet、danet、apcnet、sknet、ccnet、gcnet、annnet、ocrnet、sanet、ecanet

Implementations for a whole family of attention-mechanisms, tailored for many-to-one sequence tasks and compatible with TensorFlow 2.0 with Keras integration.

实时目标检测算法YOLOv3的检测速度较快且精度良好，但存在边界框定位不够精确、难以区分重叠物体等不足。提出了Attention-YOLO算法，该算法借鉴了基于项的注意力机制，将通道注意力及空间注意力机制加入特征提取网络之中，使用经过筛选加权的特征向量来替换原有的特征向量进行残差融合，同时添加二阶项来减少融合过程中的信息损失并加速模型收敛。通过在COCO和PASCAL VOC数据集上的实验表明，该算法有效降低了边界框的定位误差并提升了检测精度。相比YOLOv3算法在COCO测试集上的mAP@IoU[0.5：0.95]提升了最高2.5 mAP，在PASCAL VOC 2007测试集上达到了最高81.9 mAP。

从TensorFlow复现代码理解胶囊网络（Dynamic Routing Between Capsules） 论文链接：https://arxiv.org/abs/1710.09829 Tensorflow代码复现链接：https://github.com/naturomics/CapsNet-Tensorflow

论文讲解：https://blog.csdn.net/qq_33302004/article/details/114441024

在胶囊网络上使用迁移学习完成方面级情感分类，用文档级的知识迁移到方面级上，资源提供论文翻译。原文可自己下载

Attention Mechanism注意力机制介绍，文本识别、语音识别、机器翻译