状态：存档（代码按原样提供，预计不会更新） gpt-2 论文代码和模型。 您可以在我们的， 和阅读有关GPT-2及其分阶段发布的。 我们还供研究人员研究他们的行为。 *请注意，由于错误（在之前的博客文章和论文中），我们的原始参数计数是错误的。 因此，您可能已经看到小型代表117M，中等代表345M。 用法 该存储库是研究人员和工程师尝试GPT-2的起点。 有关基本信息，请参见我们的。 一些警告 GPT-2模型的健壮性和最坏情况下的行为不是很容易理解。 与任何机器学习的模型一样，请针对您的用例仔细评估GPT-2，尤其是在未进行微调的情况下或在可靠性至关重要的安全性至关重要的应用中使用。 我们训练GPT-2模型的数据集包含许多有和事实不正确的文本，因此GPT-2模型也可能有偏见和不准确。 为避免样品被误认为是人工书写，我们建议在广泛传播之前将样品清晰地标记为合成样品。 我们的模型

tf-gpt-2 使用Tensorflow的GPT-2文本模型的Java库 来源： 更多背景： 基本用法 导入库 < dependency> < groupId>com.simiacryptus < artifactId>tf-gpt-2 < version>1.7.1 实例化文本生成器 import com.simiacryptus.text.TextGenerator ; import com.simiacryptus.text.gpt2.GPT2Util ; TextGenerator textGenerator = GPT2Util . get345M(); 产生文字 System . out . println(textGenerat

带文本生成器的GPT2-Pytorch 更好的语言模型及其含义 我们的模型称为GPT-2（是的继承者），仅经过培训即可预测40GB的互联网文本中的下一个单词。 由于我们担心该技术的恶意应用，因此我们不会发布经过训练的模型。 作为负责任公开的一项实验，我们将发布一个供研究人员进行实验的以及一份。 来自 该存储库是有关Pytorch中带有压缩代码的文本生成器的简单实现GPT-2 原始曲目是 。 您也可以阅读有关gpt-2的论文， 。 为了理解更详细的概念，我建议您阅读有关变压器模型的论文。 我在Pytorch中实现了GPT-2的良好实现， ，您可以在havingface存储库中看到更多详细的实现。 变形金刚（自我关注）论文：只 OpenAi-GPT的第一篇论文： 请参阅有关GPT-2和Paper的 快速开始 在Pytorch中下载GPT2预训练模型，该模型已经完成了face / pytorch-pretrained-BERT的制作！ （感谢分享！这有助于我将tensorflow（ckpt）文件传输到Pytorch模型的问题！） $ git clone https://g

GPT2，用于中文聊天 更新2020.01.09 添加50w闲聊语料与预训练模型的GoogleDrive的下载地址 更新2019.12.17 基于微软的论文添加了MMI模型（最大互信息评分功能），对对话模型生成了多个响应进行筛选 项目描述 本项目使用GPT2模型对中文闲聊语料进行训练，使用HuggingFace的实现GPT2模型的编写与训练。 在闲暇时间用模型训练了几个长文本的生成模型，并且精读了一遍作者的源码，除了匪浅，加深了自己对GPT2生成模型的一些理解，于是将GPT2模型用作闲聊对话的生成，非常感谢作者的分享。 本项目中沿用了原项目中的部分结构和一些命名方式，同时也对很多代码细节做了了自己的实现。 解码器的逻辑使用了温度，Top-k采样和核采样等，可参考论文 根据微软的DialoGPT的思想，在项目中添加了互信息。训练了两个模型：Dialogue Model与MMI Model（最大互信息评分功能）。首先使用Dialogue Model生成多个响应，然后使用MMI Model从先前response中，拾取损耗最小的作为最终的response 代码中称为了很多详细的中文注释，方便

gpt-2-关键字生成 一种将文本文档数据集编码为某种形式的方法，当使用的进行时，网络将能够生成与指定关键字有关的文本（尽管从理论上讲，编码后的文本可以与任何类型的文本一起使用，基于神经网络的生成，它利用了GPT-2的长远视野和强大的上下文能力）。 您可以使用example文件夹演示如何使用example文件夹中的脚本的结果。 此外，您可以自己使用 （ ）来使用关键字，或者在/ r / legaladvice上阅读该基于关键字的模型的。 使用对编码进行标记化，以实现更健壮的关键字标记化，并使用并行化，以大幅提高大型数据集的编码速度（使用32个vCPU /线程与单线程相比，编码速度提高了约11倍，CPU利用率为70％） 用法 此仓库包含一个keyword_encode.py脚本，该脚本尝试以无监督的方式提取关键字（尽管您可以提供自己的关键字，如果有的话）。 每个文本文档的方法如下：

ChatBot 对话机器人，包含了看图说话，单轮对话和多轮对话，使用tensorflow 2.0 pytorch 1.3.1 GPT-2 开发环境 - flask==1.0.2 - tensorflow==2.0.0 - pytorch==1.3.1 - sklearn==0.19.2 - scipy==1.4.1 - numpy==1.18.5 - jieba==0.42.1 - pandas==0.23.4 - torchvision==0.5.0 - transformers==2.1.1 js文件 js和layui包放于/static目录下，layui可以到下载，详细目录结构参见文件目录 js 提取码：c8ha layui包 提取码：ts1k 使用 启动前端，可以在pycharm中直接启动 启动app.py 回车或点击左爪发送消息，点击右爪发送图片，点击左耳切换图片描述和图片描述

GPT-2 PyTorch实施 目录 介绍 该项目是OpenAI GPT-2模型的PyTorch实现。 它提供模型训练，句子生成和量度可视化。 它被认为是可以理解和优化的。 我们设计的代码易于理解。 另外，我们使用来提高性能。 依存关系 正则表达式 tqdm 火炬 麻木 matplotlib 用法 怎么训练？ 在训练GPT-2模型之前，应准备语料库数据集。 我们建议使用构建自己的语料库。 相反，训练模块需要带有词汇表文件的标记化训练和评估数据集。 准备数据集后，可以使用以下方法训练GPT-2： $ python -m gpt2 train --train_corpus build/corpus.train.txt \ --eval_corpus build/corpus.test.txt \

Flask Web应用程序，用于使用生成文本 GPT-2是一种非常庞大的语言模型，被认为过于危险而无法发布其完整版本，可以根据其输入生成接近人类水平的逼真的文本。 作者决定只发布“功能不足”（117M参数）版本。 抛开争议，让我们四处看看，看看较小的模型可以用这个程序做什么。 提交了初始文本后，该应用程序将继续讲述该故事，并希望您能百无一失。 系好安全带。 ：P 演示版 这是当前部署在我的个人开发Ubuntu服务器上的容器上的应用程序的快照，该容器在上资源有限。 您可以在启用Docker的任何地方设置并运行一个。 另外，请确保不要在生产环境中使用开发服务器。 用法 克隆存储库。 $ gi

OpenWebText 该项目是概述的GPT-2 WebText数据集的克隆。 该项目仍然是在制品。 非常感谢让我使用他的下载代码。 他的OpenWebText版本写得很好，所以请查看！ 依存关系 Pipenv，Python 3， 要安装python依赖项，请执行以下操作： pipenv install 依赖关系： 在Ubuntu上： sudo apt-get install libxml2-dev libxslt-dev 在OS X上： brew install libxml2 libxslt 用法 从reddit获取URL列表： pipenv run python get_urls.py 从网址下载数据： pipenv run python download.py 结果文件将以data/格式{domain}-{sha256 hash of url}.txt存放。 享

贝特维兹 BertViz是用于可视化Transformer模型中注意力的工具，支持库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。 它扩展了的以及的库。 资源资源 :joystick_selector: :writing_hand_selector: :open_book: 总览 正面图 头部视图可视化给定转换器层中一个或多个注意头产生的注意模式。 它基于出色的。 尝试此 其中已预加载了头部视图。 头部视图支持Transformers库中的所有模型，包括： BERT： GPT-2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 模型视图 模型视图提供了对模型所有层和头部的关注的鸟瞰图。 试用此 其中已预加载了模型视图。 模型视图支持Transformers库中的所有模型，包括： BERT： GPT2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 神经元视图 神经元视图将查询和键向量中的单个神经元可视化，并