文章为对attention is all you need的论文解读，详细的剖析了该文章的思想。

实验代码：relation_Extraction.zip

RNN+Attention实现Seq2Seq中英文机器翻译

lambda.pytorch [NEW！]看看我们的最新作品在CVPR'21该桥梁卷积和自我关注运营商。 LambdaNetworks的PyTorch实现。 Lambda网络应用矩阵乘法的关联定律来逆转自我注意力的计算顺序，从而实现了有关内容交互的线性计算复杂性。 以前在和使用了类似的技术。 在另一个存储库签出一系列自我注意模块。 训练配置 ✓SGD优化器，初始学习率0.1，动量0.9，重量衰减0.0001 ✓时代130，批量大小256，8个Tesla V100 GPU，LR衰减策略余弦 ✓标签平滑0.1 训练有素的检查站 建筑学 参数 襟翼 前1名/前5名（％） 下载 Lambda-ResNet-50 14.995万 6.576克 78.208 / 93.820 | 引文 如果您发现此存储库对您的研究有用，请引用 @InProceedings { Li_2021_CVPR

Yong Li , Student Member, IEEE, Jiabei Zeng , Member, IEEE, Shiguang Shan , Member, IEEE, and Xilin Chen, Fellow, IEEE

Attention分享 周知瑞@研发中心, Jun 20, 2018 （一）深度学习中的直觉 3 X 1 and 1 X 3 代替 3 X 3 LSTM中的门设计 生成对抗网络 Attention机制的本质来自于人类视觉注意力机制。人们视觉在感知东西的时候一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当人们发现一个场景经常在某部分出现自己想观察的东西时，人们会进行学习在将来再出现类似场景时把注意力放到该部分上。： 将更多的注意力聚焦到有用的部分，Attention的本质就是加权。但值得注意的是，同一张图片，人在做不同任务的时候，注意力的权重分布应该是不同的。 基于以上的直觉，Attention可以用于： 学习权重分布： 这个加权可以是保留所有分量均做加权（即soft attention）；也可以是在分布中以某种采样策略选取部分分量（即hard att

引入Attention 机制，对 LSTM 模型进行改进，设计了LSTM-Attention 模型。 实验环境：开python3.6.5、tensorflow==1.12、keras==2.2.4 本文的实验数据集来源于搜狗实验室中的搜狐新闻 数据，从中提取出用于训练中文词向量的中文语料， 大小约为 4GB 左右．然后选取了10 个类别的新闻数据，分别为体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏, 娱乐．每个类别 新闻为5000 条，共 50000 条新闻，利用这 50000 条 数据来训练模型．其测试集和验证集如下 验证集: 500*10 测试集: 1000*10

博客链接：https://blog.csdn.net/qq_44186838/article/details/117995029 主要功能：数据清洗、文本特征提取、建立模型（BiLSTM、TextCNN、CNN+BiLSTM、BiLSTM+Attention）、文本摘要 模型简介 **Bi-LSTM** LSTM的全称是Long Short-Term Memory，它是RNN（Recurrent Neural Network）的一种。LSTM由于其设计的特点，非常适合用于对时序数据的建模，如文本数据，该模型可以学习长期依赖信息，它通过特殊的门结构来去除或增加信息到细胞状态的能力，门是一种让信息选择式通过的方法，一共有三个门。第一层是忘记门，决定我们会从细胞状态中丢弃什么信息，下一步是确定什么样的新信息会被存放在细胞状态，下一步是更新细胞状态，最后输出信息。 而Bi-LSTM模型由前向的LSTM和后向的LSTM组合而成，能够很好的处理双向数据的序列信息。一个LSTM层式从左往右处理，而另一个是从右往左处理。总体而言，更适合应用于长文本的分类任务。 **TextCNN** TextCNN模型是由 Yoon Kim提出的Convolutional Naural Networks for Sentence Classification一文中提出的使用卷积神经网络来处理NLP问题的模型。TextCnn在文本分类问题上有着更加卓越的表现。从直观上理解，TextCNN通过一维卷积来获取句子中n-gram的特征表示。TextCNN对文本浅层特征的抽取能力很强，在短文本领域如搜索、对话领域专注于意图分类时效果很好，应用广泛，且速度快，一般是首选；**对长文本领域，TextCNN主要靠filter窗口抽取特征，在长距离建模方面能力受限，且对语序不敏感。** **CNN+BiLSTM** 在一些任务当中，会选择在卷积层后加上一层LSTM或BiLSTM（反过来则不行），用于增强模型对语义的理解。CNN负责提取文本的特征，而BiLSTM负责理解句子的语义信息。当CNN融合了循环神经网络时，就是结合了这两者的功能，往往效果会有所提升。 PS：不要想着拿TextCNN去融合BiLSTM，不是说不能融合，是没有必要。TextCNN本身就是一个非常优秀的模型了，在TextCNN后面加上一层循环神经网络，往往只是带来了更多的计算时间，其本身对于语义的理解，并没有什么帮助，甚至有可能对结果进行干扰。 **BiLSTM+注意力机制** 当输入的文本非常长的时候，我们之前引以为傲的双向长短期记忆模型也难以成为学霸，对文本有一个很好的向量表达。所以，这个时候就可以考虑使用注意力机制，来尝试抓住文本的重点。具体来讲，Attention机制就是通过保留BiLSTM编码器对输入序列的中间输出结果，再训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。

基于Keras的attention实战，环境配置： Wn10+CPU i7-6700 、Pycharm 2018、 python 3.6 、、numpy 1.14.5 、Keras 2.0.2 Matplotlib 2.2.2 经过小编亲自调试，可以使用，适合初学者从代码的角度了解attention机制。

yolov5-attention-master.zip