word2vec+BiLSTM、TextCNN、CNN+BiLSTM、BiLSTM+Attention实现中英文情感分类

博客链接：https://blog.csdn.net/qq_44186838/article/details/117995029 主要功能：数据清洗、文本特征提取、建立模型（BiLSTM、TextCNN、CNN+BiLSTM、BiLSTM+Attention）、文本摘要 模型简介 **Bi-LSTM** LSTM的全称是Long Short-Term Memory，它是RNN（Recurrent Neural Network）的一种。LSTM由于其设计的特点，非常适合用于对时序数据的建模，如文本数据，该模型可以学习长期依赖信息，它通过特殊的门结构来去除或增加信息到细胞状态的能力，门是一种让信息选择式通过的方法，一共有三个门。第一层是忘记门，决定我们会从细胞状态中丢弃什么信息，下一步是确定什么样的新信息会被存放在细胞状态，下一步是更新细胞状态，最后输出信息。 而Bi-LSTM模型由前向的LSTM和后向的LSTM组合而成，能够很好的处理双向数据的序列信息。一个LSTM层式从左往右处理，而另一个是从右往左处理。总体而言，更适合应用于长文本的分类任务。 **TextCNN** TextCNN模型是由 Yoon Kim提出的Convolutional Naural Networks for Sentence Classification一文中提出的使用卷积神经网络来处理NLP问题的模型。TextCnn在文本分类问题上有着更加卓越的表现。从直观上理解，TextCNN通过一维卷积来获取句子中n-gram的特征表示。TextCNN对文本浅层特征的抽取能力很强，在短文本领域如搜索、对话领域专注于意图分类时效果很好，应用广泛，且速度快，一般是首选；**对长文本领域，TextCNN主要靠filter窗口抽取特征，在长距离建模方面能力受限，且对语序不敏感。** **CNN+BiLSTM** 在一些任务当中，会选择在卷积层后加上一层LSTM或BiLSTM（反过来则不行），用于增强模型对语义的理解。CNN负责提取文本的特征，而BiLSTM负责理解句子的语义信息。当CNN融合了循环神经网络时，就是结合了这两者的功能，往往效果会有所提升。 PS：不要想着拿TextCNN去融合BiLSTM，不是说不能融合，是没有必要。TextCNN本身就是一个非常优秀的模型了，在TextCNN后面加上一层循环神经网络，往往只是带来了更多的计算时间，其本身对于语义的理解，并没有什么帮助，甚至有可能对结果进行干扰。 **BiLSTM+注意力机制** 当输入的文本非常长的时候，我们之前引以为傲的双向长短期记忆模型也难以成为学霸，对文本有一个很好的向量表达。所以，这个时候就可以考虑使用注意力机制，来尝试抓住文本的重点。具体来讲，Attention机制就是通过保留BiLSTM编码器对输入序列的中间输出结果，再训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。