本文设计了一个自我监督的注意模块，该模块可以识别感兴趣的显着区域，而无需明确的手工标记注释。在现有的以CNNs为特征提取器的深度RL方法中，可以直接即插即用。 注意模块学习的是前景注意掩码，而不是预定义的关键点数量。

利用深度学习模型的注意力机制 对LaTex公式进行识别，本项目利用的是tensorflow 可以快速识别图片的latex公式，可以免除打LaTex公式太烦等 包括以下部分 1. 搭建环境 Linux Mac 2. 开始训练 生成小数据集、训练、评价 生成完整数据集、训练、评价 3. 可视化 可视化训练过程 可视化预测过程 4. 评价 5. 模型的具体实现细节 总述 数据获取和数据处理 模型构建 6. 踩坑记录 win10 用 GPU 加速训练 如何可视化Attention层

人工智能-项目实践-情感分析-基于LSTM网络与自注意力机制对中文评论进行细粒度情感分析 题目介绍 该题目为《细粒度用户评论情感分析》，来源于“全球AI挑战赛”。https://challenger.ai/competition/fsauor2018 对于题目内容以及任务描述均可从该网站获取，这里不再赘述。 成绩 单个模型最好的F1指标为：75.04 整体20个模型的综合F1指标为：68 数据集 数据集由比赛平台提供。包含105000条训练样本以及15000条测试样本。 关于数据集的标注可以点击这里查看。

人工智能-图分类-自注意力-使用基于自注意力池化机制结合GCN模型实现图分类 所需环境： 1.torch:1.4.0 2.torch_scatter:2.0.3 3.scipy:1.4.1 数据集 1.DD:https://ls11-www.cs.tu-dortmund.de/people/morris/graphkerneldatasets/DD.zip 2.COX2:https://ls11-www.cs.tu-dortmund.de/people/morris/graphkerneldatasets/COX2.zip 3.BZR:https://ls11-www.cs.tu-dortmund.de/people/morris/graphkerneldatasets/BZR.zip 运行方式

sagan-pytorch PyTorch中的自我注意生成对抗网络（SAGAN， //arxiv.org/abs/1805.08318） 用法： python train.py路径 输入目录的结构应如下所示（与torchvision.datasets.ImageFolder一样）： 路径/类1 路径/类2 ... 评估FID分数的代码来自 笔记 来自DCGAN生成器的样本（无残留连接）以120k迭代。 似乎模型大小不足。 FID约为120。此模型折叠后。 来自ResNet生成器290k迭代的样本。 FID约为64.8。 用于生成器与鉴别器的不平衡学习计划，即1：5更新计划。 样本质量似乎有所提高，可能是因为增加了模型大小和更稳定的学习进度。 具有1：1更新时间表的火车Resnet模型既困难又不稳定。

自我注意和卷积 该代码随附于 ， 和的论文发表于ICLR 2020）。 抽象的 将注意力机制整合到视觉中的最新趋势已导致研究人员重新考虑卷积层作为主要构建块的优势。 除了帮助CNN处理远程依赖关系之外，Ramachandran等人（英文）。 （2019）表明，注意力可以完全取代卷积，并在视觉任务上达到最先进的性能。 这就提出了一个问题：学到的注意力层的运作方式与卷积层的运作方式类似吗？ 这项工作提供了证据表明注意力层可以进行卷积，实际上，他们经常在实践中学会这样做。 具体来说，我们证明具有足够数量的头的多头自我注意层至少与任何卷积层一样强大。 然后，我们的数值实验表明该现象也在实践中发生，从而证实了我们的分析。 我们的代码是公开可用的。 与注意力互动 查看我们的。 复制 要在具有GPU的Ubuntu计算机上运行我们的代码，请在全新的Anaconda环境中安装Python软件包： cond

Self-Attention Generative Adversarial Networks （SAGAN，自注意力机制GAN） 论文、代码 DeOldify 是用于着色和恢复旧图像及视频的深度学习项目 代码资源

循环自注意力，细粒度分类，Recurrent Attention Convolutional Neural Network（RA-CNN）是CVPR2017的Oral文章，针对细粒度（fine-grained）的分类

针对现有图像超分辨重建方法难以充分重建图像的细节信息且易出现重建的图像缺乏层次的问题,提出一种基于自注意力深度网络的图像超分辨重建方法。以深度神经网络为基础,通过提取低分辨率图像特征,建立低分辨率图像特征到高分辨率图像特征的非线性映射,重建高分辨率图像。在进行非线性映射时,引入自注意力机制,获取图像中全部像素间的依赖关系,利用图像的全局特征指导图像重建,增强图像层次。在训练深度神经网络时,使用图像像素级损失和感知损失作为损失函数,以强化网络对图像细节信息的重建能力。在3类数据集上的对比测试结果表明,所提方法能够提升图像超分辨重建结果的细节信息,且重建图像的视觉效果更好。