XLM
新增:添加了模型。
PyTorch训练的原始实现。 包括:
XLM支持多GPU和多节点训练,并包含以下代码:
语言模型预训练:
因果语言模型(CLM)
屏蔽语言模型(MLM)
翻译语言模型(TLM)
胶微调
XNLI微调
有监督/无监督的机器翻译培训:
去噪自动编码器
并行数据训练
在线回译
安装
使用可编辑模式安装python软件包
pip install -e .
依存关系
的Python 3
(当前在版本0.4和1.0上测试)
(生成并应用BPE代码)
(仅用于清理和标记文本的脚本-无需安装)
(用于fp16培训)
I.单语语言模型预训练(BERT)
在下面的内容中,我们将说明如何下载和使用我们的预训练的XLM(仅英语)BERT模型。 然后,我们解释了如何训练自己的单语言模型,以及如何在GLUE任务上对其进行微调。
预先训练的英语模型
我
2022-05-11 22:56:59
110KB
Python
1