博客《预训练中文GPT2》（https://blog.csdn.net/u014403221/article/det）使用的数据

本项目使用 GPT2-Chinese 的模型将wiki中文的数据导入模型训练了通用模型。 将GPT2-chitchat的对话任务稍作修改来适用于中文摘要任务。 将通用模型的权重应用在摘要问题上进行进一步训练的。 GPT2-Chinese 参考：https://github.com/Morizeyao/GPT2-Chinese GPT2-chitchat参考：https://link.zhihu.com/?target=https%3A//github.com/yangjianxin1/GPT2-chitchat 项目工作流程详见：https://zhuanlan.zhihu.com/p/113869509 本项目为GPT2-chitchat稍作修改的内容，在此也感谢大佬的分享。 由于NLPCC的摘要数据为新闻语料，涉及话题和内容较多，应用在垂直领域下效果会好一些。

gpt2的预训练小模型

基于python的GPT2中文文本生成模型项目实现

参数值高达上亿，有点考验你的机器额 不过写作效果真是杠杠的，赶紧下载回去惊艳你的同事和同学吧。 安装过程吗，有手就行。 由于采用了一个基于解码器结构的单向语言模型，使用100G中文常用数据，32个A100训练了28个小时，是目前最大的开源GPT2中文大模型，写作质量当然也是极好的啊。 下载模型的时候需要耗费一些时间，不过好消息是下载一次就一劳永逸了。 随着人工智能研究的深入，各种模型参差不齐，层出不穷，好处就是大家学习人工智能自然语言处理更加容易了，心情是最好的老师，通过具体的实践，才会对书上那些晦涩难懂的概念有具象的认知。 所以赶紧用起来吧，不过也需要有一些python的基础，懂一点自然语言处理的入门知识。大家还可以下载我上传的其他资源，都是注释特别详细，非常浅显易懂，上手非常快的。 如果有训练好的模型，也可以共享给大家。

图片GPT 图像GPT的PyTorch实施基于像素的纸张生成式预训练和随附的。 模型生成的来自测试集的半图像的完成。 输入第一列； 最后一栏是原始图片 iGPT-S已在CIFAR10上进行了预培训。 由于该模型仅在CIFAR10而非所有ImageNet上进行了训练，因此完成程度相当差。 在制品 GPU上的批量k均值用于量化更大的数据集（当前使用sklearn.cluster.MiniBatchKMeans 。） BERT样式的预训练（当前仅支持生成。） 从OpenAI加载预训练的模型。 重现至少iGPT-S结果。 根据他们的，最大的模型iGPT-L（1.4 M参数）接受了2500 V100天的培训。 通过大大减少注意力头的数量，层数和输入大小（这会成倍地影响模型大小），我们可以在不到2小时的时间一台NVIDIA 2070上在上训练自己的模型（26 K参数）。 分类微调 采

本项目使用GPT2模型对中文闲聊语料进行训练，使用 HuggingFace的transformers实现GPT2模型的编写与训练。

nlpgnn 包装说明 自然语言处理领域当前正在发生巨大变化，近年来，已经提出了许多出色的模型，包括BERT，GPT等。 同时，图形神经网络作为一种精美的设计正在诸如TextGCN和Tensor-TextGCN等自然语言处理领域中不断使用。 该工具箱专用于自然语言处理，希望以最简单的方式实现模型。 关键字：NLP； 神经网络 楷模： 伯特 阿尔伯特 GPT2 TextCNN Bilstm +注意 GCN，GAN 杜松子酒 TextGCN，TextSAGE 示例（有关更多详细信息，请参见测试）： BERT-NER（中英文版） BERT-CRF-NER（中英文版） BERT-CLS

GPT2，用于中文聊天 更新2020.01.09 添加50w闲聊语料与预训练模型的GoogleDrive的下载地址 更新2019.12.17 基于微软的论文添加了MMI模型（最大互信息评分功能），对对话模型生成了多个响应进行筛选 项目描述 本项目使用GPT2模型对中文闲聊语料进行训练，使用HuggingFace的实现GPT2模型的编写与训练。 在闲暇时间用模型训练了几个长文本的生成模型，并且精读了一遍作者的源码，除了匪浅，加深了自己对GPT2生成模型的一些理解，于是将GPT2模型用作闲聊对话的生成，非常感谢作者的分享。 本项目中沿用了原项目中的部分结构和一些命名方式，同时也对很多代码细节做了了自己的实现。 解码器的逻辑使用了温度，Top-k采样和核采样等，可参考论文 根据微软的DialoGPT的思想，在项目中添加了互信息。训练了两个模型：Dialogue Model与MMI Model（最大互信息评分功能）。首先使用Dialogue Model生成多个响应，然后使用MMI Model从先前response中，拾取损耗最小的作为最终的response 代码中称为了很多详细的中文注释，方便

ecco：可视化和探索NLP语言模型。 Ecco直接在Jupyter笔记本中创建交互式可视化文件，解释基于Transformer的语言模型（例如GPT2）的行为