注意力机制是深度学习方法的一个重要主题。清华大学计算机图形学团队和南开大学程明明教授团队、卡迪夫大学Ralph R. Martin教授合作，在ArXiv上发布关于计算机视觉中的注意力机制的综述文章[1]。该综述系统地介绍了注意力机制在计算机视觉领域中相关工作，并创建了一个仓库.

A Cognition Based Attention Model for Sentiment Analysis.zip

我们研究了拥有一件商品如何影响对其质量的学习和信念。 我们表明，与非拥有商品的相同信息相比，人们对他们拥有的商品的信息有更极端的React：所有权在收到积极信号后会导致更乐观的信念，而在收到消极信号后会导致更悲观的信念。 将学习与规范性基准进行比较表明，人们过度推断有关他们拥有的商品的信号，从而导致对信息的过度React； 相比之下，对于非拥有商品，学习接近贝叶斯。 我们提供的直接证据表明，这种影响是由所有权将更多注意力引导到相关信息所驱动的，这导致人们在形成信念时过度重视最近的信号。 所有权和信念之间的关系对贸易和市场预期具有可检验的影响。 与这些预测一致，我们表明禀赋效应在响应积极信息时加倍并随着消极信息而消失，并在有关股市预期的调查数据中证明所有权与过度推断之间存在显着关系。

背景介绍 建了仓库，地址在这里： 点star不迷路，相关文章在github上更新的会更交替一点QAQ 之前做过调整的命名体识别，项目背景实际上也很简单，就是我要做一个关键词匹配的功能，第一步我需要挖掘关键词。 ，明星领域，财经领域等等吧，这些领域的文本很有特色，一般人名/地名/公司名称/书名/电影名称都可以很好的表示文本关键信息。 在这种项目背景之下，很自然的就会想到使用命名体识别。我把在做这个项目的过程中，积累的一些资料汇总了一下，希望对大家有所帮助。 关于命名体识别，这是一个很大的领域，要做好，有很多工作要做。标题完全是为了能增加曝光，自己还是知道只是一个小学生，我会把自己看过的有用的东西都列出来，给大家提供一些先验信息。 之后看到的关于nert的文章会在此基础继续更新（最近存了好多新文章还没看/苦逼码农/ QAQ），不过建议大家star一下Github，不迷路，我给自己的计划是精读一

工商管理网 随附于NAACL2019论文代码和数据 开始吧 先决条件 这段代码是用python 3编写的。您将需要安装一些python软件包才能运行该代码。 我们建议您使用virtualenv来管理您的python软件包和环境。 请按照以下步骤创建python虚拟环境。 如果尚未安装virtualenv ，请使用pip install virtualenv进行pip install virtualenv 。 使用virtualenv venv创建一个虚拟环境。 使用source venv/bin/activate激活虚拟环境。 使用pip install -r requirements.txt安装软件包pip install -r requirements.txt 。 运行KBQA系统 从下载预处理的数据，并将数据文件夹放在根目录下。 创建一个文件夹（例如， runs/WebQ/

CCNet-Pure-Pytorch 用于纯Pytorch中语义分割的Criss-Cross Attention（2d＆3d），具有更快，更精确的实现方式。 更新 **** 2021/03：纯pytorch实现3D CCNET模块的三种被释放 。 您可以在和检查其正确性 介绍 我非正式地重新实现了纯Pytorch中的以便在不同版本和环境下实现更好的兼容性。 以前的许多开源项目都在Pytorch上使用了Cuda扩展，因此存在兼容性和精度损失的问题。 此外，当我们设置cudnn.benchmark = True时，Pytorch可能无法优化和加速Cuda扩展。 为了解决这些问题，我基于的张量变换在CC.py中设计了一个Criss-Cross Attention操作，该操作并行执行，并且在向前结果和向后渐变中显示出更快的速度和更精确的效果。 我的运作和表现 不需要CUDA扩展。 以前的“ Cr

自关注与文本分类 本仓库基于自关注机制实现文本分类。 依赖 Python 3.5 凯拉斯 数据集 IMDB影评高度分类数据集，来自IMDB的25,000条影评，被标记为正面/纵向两种评价。影评已被预先为词下标构成的序列。方便起见，单词的下标基于它在数据集中出现的频率标定，例如整数3所编码的词为数据集中第3常出现的词。 按照惯例，0不代表任何特定的词，而编码为任何未知单词。 用法 训练 $ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM

BILSTM_CRF_NER 批处理的PyTorch实现支持双向LSTM-CRF。 用法 培训/测试数据的格式应如数据目录中所示： 训练： python train.py 评估： python eval.py 其他 settings.py是定义参数的地方。 load_data.py实现了一个数据生成器，用于生成批量大小的张量。 pytorch_tutorial_vec.py是pytorch BiLSTM-CRF教程的矢量化版本。

中文命名实体识别 数据集 本项目尝试使用了多种不同的模型（包括HMM，CRF，Bi-LSTM，Bi-LSTM + CRF）来解决中文命名实体识别问题，数据集用的是论文ACL 2018 中收集的简历数据，数据的格式如下，它的每个行由一个字及其对应的标注组成，标注集采用BIOES，句子之间用一个空行替换。 美 B-LOC 国 E-LOC 的 O 华 B-PER 莱 I-PER 士 E-PER 我 O 跟 O 他 O 谈 O 笑 O 风 O 生 O 该数据集就位于项目目录下的ResumeNER文件夹里。 运行结果 下面是多种不同的模型以及这Ensemble这四个模型预测结果的准确率（取最好）： HMM 慢性肾功能衰竭 双线性STM BiLSTM + CRF 合奏 召回率 91.22％ 95.43％ 95.32％ 95.72％ 95.65％ 准确率 91.49％ 95.43％ 95.37％ 95.74％ 95.69％ F1分数 91.30％ 95.42％ 95.32％ 95.70％ 95.64％ 最后一列Ensemble是将这四个模型的预测结果结合起来，使用“

轴向注意 在Pytorch中实施。 一种简单而强大的技术，可以有效处理多维数据。 它为我和许多其他研究人员创造了奇迹。 只需在数据中添加一些位置编码，然后将其传递到此方便的类中，即可指定要嵌入的尺寸以及要旋转的轴向尺寸。 所有的排列，整形，都将为您解决。 实际上，这篇论文由于过于简单而被拒绝了。 然而，自那以后，它已成功用于许多应用中，包括， 。 只是去展示。 安装 $ pip install axial_attention 用法 图像 import torch from axial_attention import AxialAttention img = torch . randn ( 1 , 3 , 256 , 256 ) attn = AxialAttention ( dim = 3 , # embedding dimension