问题生成器 问题生成器是一种NLP系统，用于从诸如新闻文章或书籍摘录等文本生成阅读理解型问题。 该系统是使用来自预训练模型。 有两种模型：问题生成器本身和质量检查评估器，该评估器根据问题对的可接受性对问题和答案对进行排名和过滤。 安装 您可以克隆存储库，然后像这样安装软件包： git clone https://github.com/amontgomerie/question_generator python -m pip install -e question_generator 用法 产生问题的最简单方法是克隆github存储库，然后像这样运行qg_run.py ： !git clone https://github.com/amontgomerie/question_generator !python 'question_generator/run_qg.py' --text_d

将您的文档变成数据！ | | | Parsr是一个最小的文档（图像，pdf，docx，eml ）清洗，解析和提取工具链，可生成JSON，Markdown（MD），CSV / Pandas DF或TXT格式的随时可用，有组织且可用的数据。 它为分析，数据科学家和开发人员提供了干净的结构化和标签丰富的信息集，这些信息集适用于即用型应用程序，包括数据输入和文档分析器自动化，归档等。 当前，Parsr可以执行：文档清理，层次结构再生（单词，行，段落），标题，表，列表，目录，页码，页眉/页脚，链接等的检测。 查看。 目录 入门 安装 -提供高级安装指南- 安装和运行Parsr API的最快方法是通过docker： docker pull axarev/parsr 如果您还希望安装用于发送文档和可视化结果的GUI： docker pull axarev/parsr-ui-localhost 注意：Parsr也可以裸机安装（不通过Docker容器安装），其过程在中进行了。 用法 -提供高级用法指南- 要运行 ，请发出： docker run -p 3001:3001 axar

在pytorch环境搭建Attention_biLSTM模型，python版本3.7，实现NLP情感分类，内含测试数据，可直接运行

信息熵概念与公式表及在NLP上的含义：包含名称、节点、信息论含义、NLP含义、公式

LemmInflect 一个用于英语词形和词尾变化的python模块。 关于 LemmInflect使用字典方法对英语单词进行词素化，并将其转换为用户提供的或标签指定的形式。 该库通过应用神经网络技术对单词外词（OOV）进行分类，以对单词形式进行分类并选择适当的变形规则。 该系统可用作独立模块或作为 NLP系统的扩展。 字典和词法规则来自，其中包含有关英语单词形式的大量信息。 可以使用更简单的仅拐点系统。 LemmInflect的创建是为了解决该项目的某些缺点并添加功能，例如... 从spaCy lemmatizer的独立性 神经网络消除声带形态的歧义 字母拼写法消除拼写和多种单词形

数据集官网：https://ai.stanford.edu/~amaas/data/sentiment/ 数据集的训练集和测试集各有25000个样本，且正负样本个数相同，均为12500个。 该数据集和官网提供的相比，去除了一些不必要的文件，其他均未改动。

建立实验环境 1个安装python（2.7） 2安装点： 2.1下载pip 2.2解压缩后，安装指令python setup.py install 2.3 pip升级python -m pip install --upgrade pip 2.4 pip安装扩展包pip install jieba（这里以jieba包为例），如果速度较慢，可转换内部的阿里源，即pip install jieba -i --trusted-host mirrors.aliyun.com 3安装pycharm 4使用GitHub获取代码 4.1安装git 4.2登陆自己的GitHub账号，找到自己的项目，（别人的需要先fork过来，也可以直接git clone xxx，或者直接下载zip包放进pycharm） 4.3：pycharm，首先设置git的位置及github账号，点击Test都通过后继续，依次在菜单栏上单击，从版本控制GitHub上进行VCS检出，登陆自己的账号后选择相应的项目，得到代码。 4.4（更新fork的项目到最新的版本）同步叉子 5 ipython协同开发环境 5.

配合文章使用，该文章通过nlp+聚类算法实现文本分类处理。简单易懂，配合代码使用理解迅速，适合自然语言处理和非监督学习的初学者们，希望能帮助大家

1.Transformer背景介绍 2.Transfromer整体架构 3.Transformer输入部分 4.Transfromer的编码器 5.Transfromer的解码器 6.Transformer输出部分 7.Transfromer其他部分 1.GPT-1 和 Bert 2.GPT-2 3.GPT-3 Transformer在深度学习环境下背景： 17年自Attention is all you need提出后，开始在NLP（自然语言处理）领域大放异彩 20年后，开始在CV领域发光，到现在基本一统天下了 其在NLP和CV领域下的许多分类、分割、检测等任务下均刷榜 总结一下Transformer模型。 从论文本身来看，其最大的创新在于提出的注意力机制，即多头注意力层，并嵌入到一个模块化可堆叠的模型结构中。一开始Transformer被用于机器翻译，但它也能够用在几乎所有的NLP任务上。自它之后，整个深度学习重心开始转向NLP方面。 4..InstructGPT和ChatGPT 1.VIT 2.Clip与DallE-1 3.DiffusionModel和DallE-2

nlp幽默等级训练数据集，文件格式为csv文件