xlnet-Pytorch：使用Pytorch包装器的简单XLNet实现-源码

XLNet-Pytorch 使用Pytorch包装器可轻松实现XLNet！ 您可以看到XLNet Architecture如何以小批量（= 1）进行预训练的示例。 用法 $ git clone https://github.com/graykode/xlnet-Pytorch && cd xlnet-Pytorch # To use Sentence Piece Tokenizer(pretrained-BERT Tokenizer) $ pip install pytorch_pretrained_bert $ python main.py --data ./data.txt --tokenizer bert-base-uncased \ --seq_len 512 --reuse_len 256 --perm_size 256 \ --bi_data True --mask_alpha 6 --mask_beta 1 \ --num_predict 85 --mem_len 384 --num_epoch 100 另外，您可以轻松地在运行代码。 纸中预训练的