深度卷积神经网络(CNNs)在低层次计算机视觉领域引起了广泛的关注。通过很深的CNN网络来提高性能。但随着深度的增加，浅层的信息被忽略掉。受这样的事实启发，我们提出了一种基于注意引导的卷积神经网络(ADNet)去噪方法，主要包括一个稀疏块(SB)、一个特征增强块(FEB)、一个注意块(AB)和一个重构块(RB)。

假新闻挑战 这是NLP课程的最终项目。 我们的工作包括以下几个部分： 数据预处理 常规机器学习方法 Seq2seq注意模型 TextCNN和暹罗网络 其他（例如比赛中的相关工作，未来的工作） 1.数据预处理 我们提供了几种数据预处理方法：BoW（单词袋），TF-IDF，word2vec，doc2vec。 每个py文件都会生成x_1（文档表示形式）x_2（标题表示形式）和y（标签）。 这些数据可以作为间谍数据输出，可以在模型中使用。 2.常规机器学习 我们提供py文件以通过常规机器学习（例如SVM，随机森林）对实例进行分类，代码在sklearn上实现。 环境要求：sklearn numpy 3. Seq2seq注意模型 这些代码通常基于一个带有预训练模型的基于注意力的序列到序列模型（ ）。 要使用代码生成文本摘要。 运行：python3 run_summarization.py -

参考1：李宏毅 https://www.bilibili.com/video/av9770302?p=9 （上图应该省略了一个归一化层，模型通过标签知道应该(x1,y1)对应的值是最大的，就会学习到这样一个概率分布，这里直接将attention的weight作为output的distribution）  把(x1,y1)丢进去产生新的z1,继而产生新的attention的weight 当END的attention的weight最大时结束 另一个参考模型图： pointer network的另一个应用：对文本进行summary 不使用pointer network：解码器产生key与编码

神经机器翻译 这是使用Encoder-Decoder机制以及Attention机制（（ ）于2016年引入的神经机器翻译的一种实现。Encoder-decoder体系结构通常使用一种编码器，该编码器对将源句子转换成固定长度的向量，解码器根据该向量生成翻译。 本文推测使用固定长度向量是提高此基本编码器-解码器体系结构性能的瓶颈，并建议通过允许模型自动（软）搜索源语句的一部分来扩展此范围。与预测目标词相关，而不必明确地将这些部分形成为一个困难的部分。 编码器： seq2seq网络的编码器是RNN，它为输入句子中的每个单词输出一些值。 对于每个输入字，编码器输出一个向量和一个隐藏状态，并将隐藏状态用于下一个输入字。 解码器： 在最简单的seq2seq解码器中，我们仅使用编码器的最后一个输出。 最后的输出有时称为上下文向量，因为它对整个序列中的上下文进行编码。 该上下文向量用作解码器的初始隐

Attention is all you need 摘要 主要的序列转换模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络体系结构Transformer，它完全基于注意力机制，完全不需要重复和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，需要的训练时间明显减少。我们的模型在2014年WMT英德翻译任务中达到28.4 BLEU，比现有的最佳结果(包括集成部分)提高了2个BLEU以上。在WMT 2014英法翻译任务中，我们的模型在8个GPU上训练3.5天后，建立了一个新的单模型最新的B

基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法.pdf

论文笔记：Progressive Attention Guided Recurrent Network for Salient Object Detection-附件资源

基于Attention机制的seq2seq模型的代码实现，用于对联生成

用于轨迹预测的 Transformer 网络 这是论文的代码 要求 pytorch 1.0+ 麻木 西比 熊猫 张量板 （项目中包含的是修改版） 用法 数据设置 数据集文件夹必须具有以下结构： - dataset - dataset_name - train_folder - test_folder - validation_folder (optional) - clusters.mat (For quantizedTF) 个人变压器 要训​​练，只需运行具有不同参数的train_individual.py 示例：训练 eth 的数据 CUDA_VISIBLE_DEVICES=0 python train_individualTF.py --dataset_name eth --name eth --max_epoch 240 --bat

2021AIWIN 手写体 OCR 识别竞赛总结（任务一），详见文章：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/122563647?spm=1001.2014.3001.5501