ALBERT-蒙古语
这个 repo 提供了在蒙古语文本语料库上训练的预训练 ALBERT 模型（BERT 的“A Lite”版本）和 SentencePiece 模型（无监督文本分词器和去分词器）。
内容：
用法
您可以使用库在 PyTorch 和 TensorFlow2.0 中使用 。
import torch
from transformers import AlbertTokenizer , AlbertForMaskedLM
tokenizer = AlbertTokenizer . from_pretrained ( 'bayartsogt/albert-mongolian' )
model = AlbertForMaskedLM . from_pretrained ( 'bayartsogt/albert-mongolian' )
教程
[Colab]在 Colab
2021-11-29 20:39:04
186KB
1
蒙古BERT型号
该存储库包含由 ， 和训练的经过预训练的蒙古模型。 特别感谢提供了5个TPU。
该存储库基于以下开源项目： ，和 。
楷模
词汇量为32000的用作文本标记器。 您可以使用蒙版语言模型笔记本 测试经过预训练的模型可以预测蒙面蒙语单词的效果如何。
BERT-Base： 和
BERT-Large： HuggingFace
未装箱的BERT-Base： TensorFlow检查点和PyTorch模型
未装箱的BERT-Large： HuggingFace
盒装BERT-Base
下载TensorFlow检查点或PyTorch模型。 评估结果：
global_step = 4000000
loss = 1.3476765
masked_lm_accuracy = 0.7069192
masked_lm_loss = 1.2822781
next_sentence_a
2021-11-19 11:06:27
1.37MB
1