神经机器翻译
这是使用Encoder-Decoder机制以及Attention机制(( )于2016年引入的神经机器翻译的一种实现。Encoder-decoder体系结构通常使用一种编码器,该编码器对将源句子转换成固定长度的向量,解码器根据该向量生成翻译。 本文推测使用固定长度向量是提高此基本编码器-解码器体系结构性能的瓶颈,并建议通过允许模型自动(软)搜索源语句的一部分来扩展此范围。与预测目标词相关,而不必明确地将这些部分形成为一个困难的部分。
编码器:
seq2seq网络的编码器是RNN,它为输入句子中的每个单词输出一些值。 对于每个输入字,编码器输出一个向量和一个隐藏状态,并将隐藏状态用于下一个输入字。
解码器:
在最简单的seq2seq解码器中,我们仅使用编码器的最后一个输出。 最后的输出有时称为上下文向量,因为它对整个序列中的上下文进行编码。 该上下文向量用作解码器的初始隐
1