MASS:大量的-源码

大量的 ，作者：Kaitong Song，，，陆建峰，，是一种基于序列到序列的语言生成任务的新型预训练方法。 它在编码器中随机掩盖句子片段，然后在解码器中对其进行预测。 MASS可以应用于诸如神经机器翻译（NMT）之类的跨语言任务，以及诸如文本摘要之类的单语言任务。 当前的代码库支持无监督的NMT（基于XLM实现），受监督的NMT，文本摘要和会话响应生成，所有这些均基于Fairseq。 将来，我们将发布其他序列到序列生成任务的实现。 有什么新功能！ 我们发布了 ，这是一种新的经过预先培训的语言理解方法。 GitHub： : 无人监督NMT 无监督神经机器翻译仅使用单语数据来训练模型。 在MASS预训练期间，源语言和目标语言在一个模型中进行了预训练，并带有相应的语言嵌入以区分语言。 在MASS微调期间，使用反向翻译来训练无监督模型。 代码在。 我们提供预训练和微调的模型： 语言能