蒙古BERT型号
该存储库包含由 , 和训练的经过预训练的蒙古模型。 特别感谢提供了5个TPU。
该存储库基于以下开源项目: ,和 。
楷模
词汇量为32000的用作文本标记器。 您可以使用蒙版语言模型笔记本 测试经过预训练的模型可以预测蒙面蒙语单词的效果如何。
BERT-Base: 和
BERT-Large: HuggingFace
未装箱的BERT-Base: TensorFlow检查点和PyTorch模型
未装箱的BERT-Large: HuggingFace
盒装BERT-Base
下载TensorFlow检查点或PyTorch模型。 评估结果:
global_step = 4000000
loss = 1.3476765
masked_lm_accuracy = 0.7069192
masked_lm_loss = 1.2822781
next_sentence_a
1