上传者: 42166105
|
上传时间: 2022-02-25 20:16:48
|
文件大小: 563KB
|
文件类型: -
带文本生成器的GPT2-Pytorch
更好的语言模型及其含义
我们的模型称为GPT-2(是的继承者),仅经过培训即可预测40GB的互联网文本中的下一个单词。 由于我们担心该技术的恶意应用,因此我们不会发布经过训练的模型。 作为负责任公开的一项实验,我们将发布一个供研究人员进行实验的以及一份。 来自
该存储库是有关Pytorch中带有压缩代码的文本生成器的简单实现GPT-2
原始曲目是 。 您也可以阅读有关gpt-2的论文, 。 为了理解更详细的概念,我建议您阅读有关变压器模型的论文。
我在Pytorch中实现了GPT-2的良好实现, ,您可以在havingface存储库中看到更多详细的实现。
变形金刚(自我关注)论文:只
OpenAi-GPT的第一篇论文:
请参阅有关GPT-2和Paper的
快速开始
在Pytorch中下载GPT2预训练模型,该模型已经完成了face / pytorch-pretrained-BERT的制作! (感谢分享!这有助于我将tensorflow(ckpt)文件传输到Pytorch模型的问题!)
$ git clone https://g