时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。

针对基于深度学习的传统方法对于次显著细节信息关注不足的问题,提出一种基于多尺度注意力机制的多分支网络来统筹图像的显著信息及次显著信息。首先,将多尺度特征融合方法(MSFF)与注意力机制相结合,设计了一个多尺度注意力模块(MSA),使得网络可以根据输入信息自适应地调节感受野大小,实现了对于不同尺度信息的充分利用。其次,建立一个多分支网络,实现对于全局特征和多元局部特征的协调统一,并利用多尺度注意力模块,分别实现对于全局显著信息及次显著局部细节信息的加权强化,得到更具判别性的特征用于最终的识别。实验结果表明,本文所设计的网络在多个数据集上都取得了较好的表现。

使用双向长短期记忆 (biLSTM) 进行需求预测这是一个回归问题。 在这个问题中，我们想根据过去记录中的 3 个因素来预测未来的需求。 您可以更改选择的数量（过去的记录数量）。 此外，您可以更改输入的数量。 例如，您也可以包括过去的需求，或删除一些输入。

为提升水下图像的增强效果，提出了一种基于金字塔注意力机制和生成对抗网络(GAN)的水下图像增强算法。它将生成对抗网络作为基本架构，生成网络采用编码解码结构并引入特征金字塔注意力模块，多尺度金字塔特征与注意力机制的结合可以捕获更丰富的高级特征以提升模型性能；判别网络采用类似马尔科夫判别器的结构。此外，通过构建包含全局相似性、内容感知和色彩感知的多项损失函数，使增强后的图像与参考图像的结构、内容和色彩保持一致。实验结果表明，所提算法增强的水下图像在清晰度、颜色校正和对比度上都有所提升。其中，在SSIM、UIQM和IE指标上的平均值分别为0.7418、2.9457和4.6925。在主观感知和客观评价指标上，所提算法的实验结果均优于对比算法。

基于BLSTM和注意力机制的电商评论情感分类模型.pdf

谷歌提出的Transformer结构

近年来, 随着人工智能的发展, 深度学习模型已在ECG数据分析(尤其是房颤的检测)中得到广泛应用. 本文提出了一种基于多头注意力机制的算法来实现房颤的分类, 并通过PhysioNet 2017年挑战赛的公开数据集对其进行训练和验证. 该算法首先采用深度残差网络提取心电信号的局部特征, 随后采用双向长短期记忆网络在此基础上提取全局特征, 最后传入多头注意力机制层对特征进行重点提取, 通过级联的方式将多个模块相连接并发挥各自模块的作用, 整体模型的性能有了很大的提升. 实验结果表明, 本文所提出的heads-8模型可以达到精度0.861, 召回率0.862, F1得分0.861和准确率0.860, 这优于目前针对心电信号的房颤分类的最新方法.

为什么需要视觉注意力计算机视觉（computervision）中的注意力机制（attention）的基本思想就是想让系统学会注意力——能够忽略无关信息而关注重点信息。为什么要忽略无关信息呢？注意力分类与基本概念神经网络中的「注意力」是什么？怎么用？该文分为：硬注意力、软注意力、此外，还有高斯注意力、空间变换就注意力的可微性来分：Hard-attention，就是0/1问题，哪些区域是被attentioned，哪些区域不关注.硬注意力在图像中的应用已经被人们熟知多年：图像裁剪（imagecropping）硬注意力（强注意力）与软注意力不同点在于，首先强注意力是更加关注点，也就是图像中的每个点都有

使用双隐层LSTM模型（DHLSTM）和双向LSTM（Bi-LSTM）模型两种方法，实现MNIST数据集分类

用matlab实现注意力机制模块