mongolian-bert:预训练的蒙古BERT模型-源码

蒙古BERT型号 该存储库包含由 ， 和训练的经过预训练的蒙古模型。 特别感谢提供了5个TPU。 该存储库基于以下开源项目： ，和 。 楷模 词汇量为32000的用作文本标记器。 您可以使用蒙版语言模型笔记本 测试经过预训练的模型可以预测蒙面蒙语单词的效果如何。 BERT-Base： 和 BERT-Large： HuggingFace 未装箱的BERT-Base： TensorFlow检查点和PyTorch模型 未装箱的BERT-Large： HuggingFace 盒装BERT-Base 下载TensorFlow检查点或PyTorch模型。 评估结果： global_step = 4000000 loss = 1.3476765 masked_lm_accuracy = 0.7069192 masked_lm_loss = 1.2822781 next_sentence_a