ELMoForManyLangs：多种语言的预训练ELMo表示形式-源码

多种语言的预训练ELMo表示 我们发布了接受多种语言培训的ELMo表示形式，这有助于我们赢得LAS根据赢得的。 技术细节 我们使用与相同的超参数设置 for biLM和角色CNN。 我们根据从每种任务的共享任务（wikidump +通用抓取）发布的原始文本中随机抽取的2000万字数据集训练其参数。 我们主要基于的代码，但进行了以下更改： 我们支持unicode字符； 我们使用样本softmax技术使大词汇量的训练变得可行（ ）。 但是，我们使用围绕目标单词的单词窗口作为否定样本，并且在我们的初步实验中显示出更好的性能。 在NVIDIA P100 GPU上，用一种语言进行ELMo的培训大约需要3天。 资料下载 这些模型托管在。 ELMo简体中文 我们还提供了 。 它是针对新华比例进行培训的，这与传统中文ELMo的维基百科不同。 前提条件 必须是python> = 3.6（如果使用python3.5，则会遇到此问题 ） 火炬0.4 来自allennlp的其他要求 用法 安装套件 您需要安装软件包才能使用嵌入功能，并具有以下建议 python setup.py install