Attention 是一种通用的带权池化方法，输入由两部分构成：询问（query）和键值对（key-value pairs）。 不同的attetion layer的区别在于score函数的选择，两种常用的注意层 Dot-product Attention 和 Multilayer Perceptron Attention 点积注意力 class DotProductAttention(nn.Module): def __init__(self, dropout, **kwargs): super(DotProductAttention, self).__init_

加入注意力机制的LSTM 对航空乘客预测_nsq1101的博客-CSDN博客.html

参考1：李宏毅 https://www.bilibili.com/video/av9770302?p=9 （上图应该省略了一个归一化层，模型通过标签知道应该(x1,y1)对应的值是最大的，就会学习到这样一个概率分布，这里直接将attention的weight作为output的distribution）  把(x1,y1)丢进去产生新的z1,继而产生新的attention的weight 当END的attention的weight最大时结束 另一个参考模型图： pointer network的另一个应用：对文本进行summary 不使用pointer network：解码器产生key与编码

目前关系抽取方法中，传统深度学习方法存在长距离依赖问题，并且未考虑模型输入与输出的相关性。针对以上问题，提出了一种将LSTM（long short-term memory）模型与注意力机制相结合的关系抽取方法。将文本信息向量化，提取文本局部特征，再将文本局部特征导入双向LSTM模型中，通过注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度获取文本整体特征；最后将局部特征和整体特征进行特征融合，通过分类器输出分类结果。在SemEval-2010 task 8语料库上的实验结果表明，该方法的准确率和稳定性较传统深度学习方法有进一步提高，为自动问答、信息检索以及本体学习等领域提供了方法支持。

经典注意力机制的实现 参照李沐老师的动手深度学习

这篇论文的思路特别好： 我们提出了一种用于脑电情感识别的端到端深度学习方法。该神经网络综合考虑了脑电信号的空间信息、时间信息和注意力信息。将CNN,RNN和通道注意力机制（channel-wise attention）和扩展自我注意力机制（self-attention mechanisms）混合起来，同时通过通过注意力机制计算出各个通道权重，筛选出更有价值的通道。同时采用DE作为频域特征，结合时域特征和空间特征三大特征相融合考虑。模型方面：CNN+RNN（CNN-RNN）、通道性注意机制+CNN+RNN（A-CNN-RNN）和CNN+RNN+扩展自我注意机制（CNN-RNN-A）、连续卷积神经网络（Conti-CNN）、图卷积神经网络（GCNN）和卷积复发注意力模型（CRAM）。介绍了六种深度学习方法和两种传统方法进行比较，六大模型相互对比，在DEAP数据库的效价和觉醒分类任务中，平均情绪识别准确率分别为92.74%和93.14%！希望大家能好好理解阅读。 我们将通道性注意整合到CNN中，CNN可以提取空间注意特征，通道性注意可以提取通道间的注意信息。

事件抽取是自然语言处理中一项具有挑战性的任务，对于后续的信息处理有重要作用。本文采用BiLSTM模型与Attention层结合，完成了事件触发词检测，实现了事件类别的分类。与以往的事件检测方法相比，本文将两类任务视作同一个任务，避免了上游任务对下游任务的影响，使用神经网络学习特征，引入注意力机制突出重点信息。在MELL语料上进行生物事件抽取实验，结果表明准确率和召回率较高，F1值为81.66%，优于以往的方法。

针对脑电信号的注意力识别精度问题，本文应用深度森林的算法进行仿真研究。首先对原始脑电信号通过小波分析进行预处理去噪，然后采用深度森林的方法进行分类识别。实验分别对6位受试者在注意和非注意两种状态下的脑电信号进行分析，结果表明，对注意力状态识别的准确率达到了95%以上，同时对通用数据库中清醒和睡眠两种状态下的脑电数据进行识别，也取得了较高的识别率，结果证明了该算法对脑电信号注意力识别的准确率是可靠的。

传统的推荐系统存在数据高度稀疏、冷启动及用户偏好建模难等问题，而把情境信息融入推荐系统中能有效缓解此类问题.深度学习技术已经成为人工智能领域研究热点，把深度学习应用在情境感知推荐系统当中，为推荐领域的研究带来新的机遇与挑战.本文从情境感知推荐系统相关概念出发，综合整理国内外研究相关文献，介绍深度学习技术融入情境感知推荐系统相关应用模型，提出了基于深度学习的情境感知推荐系统研究的不足以及对未来的展望.

sagan-pytorch PyTorch中的自我注意生成对抗网络（SAGAN， //arxiv.org/abs/1805.08318） 用法： python train.py路径 输入目录的结构应如下所示（与torchvision.datasets.ImageFolder一样）： 路径/类1 路径/类2 ... 评估FID分数的代码来自 笔记 来自DCGAN生成器的样本（无残留连接）以120k迭代。 似乎模型大小不足。 FID约为120。此模型折叠后。 来自ResNet生成器290k迭代的样本。 FID约为64.8。 用于生成器与鉴别器的不平衡学习计划，即1：5更新计划。 样本质量似乎有所提高，可能是因为增加了模型大小和更稳定的学习进度。 具有1：1更新时间表的火车Resnet模型既困难又不稳定。