chinese-gen:中文生成式预训练模型-源码

中文生成式预训练模型 NLU的预训练模型大家应该见过不少了，NLG的预训练资源还比较少。这里汇总一些中文的生成式预训练模型，给出bert4keras下的加载方式。 模型列表 GPT 以GPT为代表的单向语言模型预训练。 GPT Base（NEZHE-GEN） 链接： 大小：1亿参数，体积390M 说明：结构跟BERT Base一致，通用语料训练，官方github提供了下载链接，不过保存了多余的meta导致体积过大，笔者对原始权重进行了转换，可以从笔者提供的链接（，验证码xynn）下载，结果跟原版一样，体积更小。 使用： CDial-GPT 链接： （原版链接： ） 大小：1亿参数，体积350M 说明：模型为GPT模型，使用闲聊型对话语料训练。原版为pytorch模型，笔者对原始权重进行了转换。 使用： GPT2-ML 链接： 大小：15亿参数，体积5.3G 说明：基于BERT代码修改，跟最