思路
文本处理,这里我是以eng_fra的文本为例,每行是english[tab]french,以tab键分割。获取文本,清洗。
分别建立字典,一个english,一个french。
根据字典写好seq2id的函数(文本序列->数字序列),并调用将文本序列化。
初始化Encoder,Decoder模型;选择合适的优化器;设置lr,epochs等参数;
开始循环迭代:
1.因为文本太大,这里是随机选择某句进行训练。
2.句子通过Encoder,Encoder产生新的隐层和每层的输出;再将开始标志通过传给Decoder结合Encoder的隐层和每层的输出(期间用到attention,下面详细讲解)
1