假新闻挑战
这是NLP课程的最终项目。
我们的工作包括以下几个部分：
数据预处理
常规机器学习方法
Seq2seq注意模型
TextCNN和暹罗网络
其他（例如比赛中的相关工作，未来的工作）
1.数据预处理
我们提供了几种数据预处理方法：BoW（单词袋），TF-IDF，word2vec，doc2vec。
每个py文件都会生成x_1（文档表示形式）x_2（标题表示形式）和y（标签）。
这些数据可以作为间谍数据输出，可以在模型中使用。
2.常规机器学习
我们提供py文件以通过常规机器学习（例如SVM，随机森林）对实例进行分类，代码在sklearn上实现。 环境要求：sklearn numpy
3. Seq2seq注意模型
这些代码通常基于一个带有预训练模型的基于注意力的序列到序列模型（ ）。 要使用代码生成文本摘要。 运行：python3 run_summarization.py -
2022-04-08 15:15:07
14.59MB
1
参考1：李宏毅 https://www.bilibili.com/video/av9770302?p=9
（上图应该省略了一个归一化层，模型通过标签知道应该(x1,y1)对应的值是最大的，就会学习到这样一个概率分布，这里直接将attention的weight作为output的distribution）
把(x1,y1)丢进去产生新的z1,继而产生新的attention的weight
当END的attention的weight最大时结束
另一个参考模型图：
pointer network的另一个应用：对文本进行summary
不使用pointer network：解码器产生key与编码
2022-04-07 20:14:04
532KB
1
一个双向LSTM程序 Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM 都取得相当巨大的成功，并得到了广泛的使用。 LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！ 所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。(A bidirectional LSTM program Long short term network, commonly known as LSTM, is a special type of RNN that can learn long-term dependent information. LSTM was proposed by Hochreiter & schmidhuber
2022-04-06 20:07:05
2KB
智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、路径规划、无人机等多种领域的Matlab代码模型及运行结果
2022-04-05 23:29:27
385KB
1
事件抽取是自然语言处理中一项具有挑战性的任务，对于后续的信息处理有重要作用。本文采用BiLSTM模型与Attention层结合，完成了事件触发词检测，实现了事件类别的分类。与以往的事件检测方法相比，本文将两类任务视作同一个任务，避免了上游任务对下游任务的影响，使用神经网络学习特征，引入注意力机制突出重点信息。在MELL语料上进行生物事件抽取实验，结果表明准确率和召回率较高，F1值为81.66%，优于以往的方法。
2022-04-05 13:17:16
1.47MB
1
课程目标：
学习完本门课程，您将对自然语言处理技术有更深入的了解，彻底掌握中文命名实体识别技术。
适用人群：
自然语言处理从业者、深度学习爱好者
课程简介：
命名实体识别作为自然语言处理的基础技术之一，在自然语言处理上游各个任务（问答系统、机器翻译、对话系统等）重扮演者十分重要的角色，因此深入掌握命名实体识别技术，是作为自然语言处理从业者毕本技能，本课程理论与实践相结合，希望能给大家带来帮助。
课程要求：
（1）开发环境：Python3.6.5 Tensorflow1.13.1；（2）开发工具：Pycharm；
（3）学员基础：需要一定的Python基础，及深度学习基础；
（4）学院收货：掌握命名实体识别关键技术；
（5）学院资料：见课程资料；
（6）课程亮点：全程实战操作，徒手撸代码。
2022-03-30 21:57:45
515B
1
神经机器翻译
这是使用Encoder-Decoder机制以及Attention机制（（ ）于2016年引入的神经机器翻译的一种实现。Encoder-decoder体系结构通常使用一种编码器，该编码器对将源句子转换成固定长度的向量，解码器根据该向量生成翻译。 本文推测使用固定长度向量是提高此基本编码器-解码器体系结构性能的瓶颈，并建议通过允许模型自动（软）搜索源语句的一部分来扩展此范围。与预测目标词相关，而不必明确地将这些部分形成为一个困难的部分。
编码器：
seq2seq网络的编码器是RNN，它为输入句子中的每个单词输出一些值。 对于每个输入字，编码器输出一个向量和一个隐藏状态，并将隐藏状态用于下一个输入字。
解码器：
在最简单的seq2seq解码器中，我们仅使用编码器的最后一个输出。 最后的输出有时称为上下文向量，因为它对整个序列中的上下文进行编码。 该上下文向量用作解码器的初始隐
2022-03-28 11:05:27
5.82MB
1
Attention is all you need
摘要
主要的序列转换模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络体系结构Transformer，它完全基于注意力机制，完全不需要重复和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，需要的训练时间明显减少。我们的模型在2014年WMT英德翻译任务中达到28.4 BLEU，比现有的最佳结果(包括集成部分)提高了2个BLEU以上。在WMT 2014英法翻译任务中，我们的模型在8个GPU上训练3.5天后，建立了一个新的单模型最新的B
2022-03-20 19:29:14
1.36MB
1
基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法.pdf
2022-03-09 21:03:18
1.72MB
论文笔记：Progressive Attention Guided Recurrent Network for Salient Object Detection-附件资源
2022-03-08 20:53:09
106B
1