多种语言的预训练ELMo表示
我们发布了接受多种语言培训的ELMo表示形式,这有助于我们赢得LAS根据赢得的。
技术细节
我们使用与相同的超参数设置 for biLM和角色CNN。 我们根据从每种任务的共享任务(wikidump +通用抓取)发布的原始文本中随机抽取的2000万字数据集训练其参数。 我们主要基于的代码,但进行了以下更改:
我们支持unicode字符;
我们使用样本softmax技术使大词汇量的训练变得可行( )。 但是,我们使用围绕目标单词的单词窗口作为否定样本,并且在我们的初步实验中显示出更好的性能。
在NVIDIA P100 GPU上,用一种语言进行ELMo的培训大约需要3天。
资料下载
这些模型托管在。
ELMo简体中文
我们还提供了 。 它是针对新华比例进行培训的,这与传统中文ELMo的维基百科不同。
前提条件
必须是python> = 3.6(如果使用python3.5,则会遇到此问题 )
火炬0.4
来自allennlp的其他要求
用法
安装套件
您需要安装软件包才能使用嵌入功能,并具有以下建议
python setup.py install
1