本案例取自PyTorch官网的NLP FROM SCRATCH: TRANSLATION WITH A SEQUENCE TO SEQUENCE NETWORK AND ATTENTION，完整的讲解见文章：https://blog.csdn.net/weixin_45707277/article/details/122409447

使用胶囊网络实现MNIST数据集分类，基于keras实现，运行 CapsNet.py 即可训练模型，并输出模型在预测集上的正确率。

基于注意力机制的新闻话题分类的源码

通过加入空间注意力机制进行单幅图像的去雨，去雾操作

CapsNet-Tensorflow-master.zip，胶囊网络代码实现，按readme复现代码。

一个双向LSTM程序 Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM 都取得相当巨大的成功，并得到了广泛的使用。 LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！ 所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。(A bidirectional LSTM program Long short term network, commonly known as LSTM, is a special type of RNN that can learn long-term dependent information. LSTM was proposed by Hochreiter & schmidhuber (1997) and recently improved and promoted by Alex graves. In many problems, LSTM has achieved great success and has been widely used. LSTM is designed to avoid long-term dependency. Remember that long-term information is the default behavior of LSTM in practice, not the ability to acquire it at a great cost! All RNNs have a chained form of repetitive neural network modules. In the standard RNN, this repetitive module has only a very simple structure, such as a tanh layer.)

Attention分享 周知瑞@研发中心, Jun 20, 2018 （一）深度学习中的直觉 3 X 1 and 1 X 3 代替 3 X 3 LSTM中的门设计 生成对抗网络 Attention机制的本质来自于人类视觉注意力机制。人们视觉在感知东西的时候一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当人们发现一个场景经常在某部分出现自己想观察的东西时，人们会进行学习在将来再出现类似场景时把注意力放到该部分上。： 将更多的注意力聚焦到有用的部分，Attention的本质就是加权。但值得注意的是，同一张图片，人在做不同任务的时候，注意力的权重分布应该是不同的。 基于以上的直觉，Attention可以用于： 学习权重分布： 这个加权可以是保留所有分量均做加权（即soft attention）；也可以是在分布中以某种采样策略选取部分分量（即hard att

作为自然语言处理领域的经典研究方向之一, 特定目标情感分析的任务是根据句子上下文语境判别特定目标的情感极性, 而提升该任务表现的重点在于如何更好地挖掘特定目标和句子上下文的语义表示. 本文提出融合短语特征的多注意力网络(Phrase-Enabled Multi-Attention Network, PEMAN), 通过引入短语级别语义特征, 构建多粒度特征融合的多注意力网络, 有效提高模型的表达能力. 在SemEval2014 Task4 Laptop、Restaurant数据集上的实验结果表明, 与基准模型相比, 本文提出的PEMAN模型在准确率上有一定提升.

引入Attention 机制，对 LSTM 模型进行改进，设计了LSTM-Attention 模型。 实验环境：开python3.6.5、tensorflow==1.12、keras==2.2.4 本文的实验数据集来源于搜狗实验室中的搜狐新闻 数据，从中提取出用于训练中文词向量的中文语料， 大小约为 4GB 左右．然后选取了10 个类别的新闻数据，分别为体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏, 娱乐．每个类别 新闻为5000 条，共 50000 条新闻，利用这 50000 条 数据来训练模型．其测试集和验证集如下 验证集: 500*10 测试集: 1000*10

随着大数据和人工智能的发展, 将人工处理专利的方式转换为自动化处理成为可能. 本文结合卷积神经网络(CNN)提取局部特征和双向长短记忆神经网络(BiLSTM)序列化提取全局特征的优势, 在BiLSTM隐藏层引入注意力机制(Attention机制), 提出了针对中文专利文本数据的BiLSTM_ATT_CNN组合模型. 通过设计多组对比实验, 验证了BiLSTM_ATT_CNN组合模型提升了中文专利文本分类的准确率.