词向量模型应用
• 利用词向量的语言学特性完成任务
分布假说:语义相似的词，其词向量空间距离更相近
语义相关性、同义词检测、单词类比
• 将词向量作为特征，提高自然语言处理任务的性能
使用静态词向量，在模型训练过程中，只调整模型参数，不调整入词向量
基于平均词向量的文本分类、命名实体识别等
• 将词向量作为神经网络的初始值(动态词向量)，提升神经网络模型的优化效果
使用动态词向量，模型训练过程中会调整词向量的初值
基于卷积神经网络的文本分类、词性标注
2021-08-15 02:00:24
2.57MB
循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network） [1] 。
对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习（deep learning）算法之一 [2] ，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的循环神经网络 [3] 。
循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进行学习时具有一定优势 [4] 。循环神经网络在自然语言处理（Natural Language Processing, NLP），例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络（Convolutional Neural Network,CNN）构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。
2021-08-15 02:00:24
3.75MB