这个 GPT 链接是 OpenAI 的 GPT-3.5、4 模型，它是目前最先进的自然语言处理模型之一。使用这个链接可以让你与该模型进行实时对话，输入文本后，该模型会给出一个智能的、语义正确的回答。这个链接可以用于多种场景，例如智能客服、智能助手等。基于 GPT-3.5、4 模型的强大能力，它可以提供高质量的自然语言理解和生成功能，为人们的生活和工作带来便利。

使用说明 分对话系统和机器翻译两部分 data为数据集 model为训练的模型 translation文件夹下又分了Seq2Seq和transformer两个模型，大家按需查看使用 以transformer文件夹为例，attention.py主要实现了注意力机制，transformer.py实现了transformer的主体架构，data.py为数据的预处理以及生成了词典、dataset、dataloader，readdata.py运行可以查看数据形状，train.py为训练模型，predict.py为预测，config.py为一些参数的定义。 transformer机器翻译的模型是用cuda:1训练的，如果要使用可能需要修改代码 如：gpu->cpu，即在CPU上使用 torch.load('trans_encoder.mdl', map_location= lambda storage, loc: storage) torch.load('trans_decoder.mdl', map_location= lambda storage, loc: storage)

python编写的简单程序，一共只有130多行，但是应付老师绰绰有余：） 实验:基于LSTM的命名实体识别 数据处理 给每个实体类型进行编号、给每个单词进行编号 文本填充 使用标识符，将所有序列处理成同样长度 训练流程 给每个输入和其对应编号建立一个张量 构成训练批 输入LSTM单元 输入全连接层 使用sorftmax或其他分类器进行预测 模型构建 pytorch自带LSTM类/其他工具也可以/自己编码也可以

本课件是对论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 的导读与NLP领域经典预训练模型 Bert 的详解，通过介绍NLP领域对通用语言模型的需求，引入 Bert 模型，并对其架构进行宏观微观的解读，然后详细介绍 Bert 每预训练阶段采用的两个任务，以及常见的微调下游任务场景。最后通过可视化的方式，给出 Bert 在向量表征上的优势所在。

论文笔记

自然语言处理相关的分词数据

人民日报的爬取数据集

huggingface下载速度慢，遇到sentence-transformers模型下载失败还是尽量使用进行本地下载改路径的方式。

nlp之中机器翻译的最新论文的代码复现nlp-master.zip

本项目使用 GPT2-Chinese 的模型将wiki中文的数据导入模型训练了通用模型。 将GPT2-chitchat的对话任务稍作修改来适用于中文摘要任务。 将通用模型的权重应用在摘要问题上进行进一步训练的。 GPT2-Chinese 参考：https://github.com/Morizeyao/GPT2-Chinese GPT2-chitchat参考：https://link.zhihu.com/?target=https%3A//github.com/yangjianxin1/GPT2-chitchat 项目工作流程详见：https://zhuanlan.zhihu.com/p/113869509 本项目为GPT2-chitchat稍作修改的内容，在此也感谢大佬的分享。 由于NLPCC的摘要数据为新闻语料，涉及话题和内容较多，应用在垂直领域下效果会好一些。