上传者: 42106357
|
上传时间: 2021-10-26 10:05:11
|
文件大小: 2.51MB
|
文件类型: -
注意神经网络的序列到序列学习
更新:检出的beta版本,完全支持seq2seq-attn的功能完全重写。 Seq2seq-attn将继续受支持,但是新功能和优化将集中在新代码库上。
在编码器-解码器为LSTM的情况下,以(可选)注意标准序列到序列模型的实现。 编码器可以是双向LSTM。 此外,还可以选择通过运行卷积神经网络,然后运行基于字符嵌入的用作输入)来使用字符(而不是输入单词嵌入)。
注意模型是从,Luong等。 EMNLP2015。我们将全球通用注意力模型与本文中的输入反馈方法结合使用。 输入进纸是可选的,可以关闭。
角色模型来自“ ,Kim等。 AAAI 2016年。
在基线模型之上还有很多其他选项,这主要归功于的出色。 具体来说,有一些功能可以实现:
。 Luong等人,EMNLP 2015。
Costa-Jussa和Fonollosa,ACL,2016年。
。