使用文档级上下文改进变压器翻译模型
内容
介绍
这是我们工作的实现,将Transformer扩展为集成文档级上下文[ ]。 该实现在
用法
注意:用法不是用户友好的。 以后可能会改善。
训练标准的变压器模型,请参考的用户手册。 假设model_baseline / model.ckpt-30000在验证集上表现最佳。
使用以下命令生成虚拟的改进的Transformer模型:
python THUMT/thumt/bin/trainer_ctx.py --inputs [source corpus] [target corpus] \
--context [context corpus] \
--vocabulary [source
1