PyTorch的Bert多标签文本分类 此仓库包含用于多标签文本分类的预训练BERT和XLNET模型的PyTorch实现。 代码结构 在项目的根目录，您将看到： ├── pybert | └── callback | | └── lrscheduler.py　　 | | └── trainingmonitor.py　 | | └── ... | └── config | | └── basic_config.py #a configuration file for storing model parameters | └── dataset　　　 | └── io

DoTAT: A Domain-oriented Text Annotation Tool East China University of Science and Technology - NLP [华东理工大学-自然语言处理与大数据挖掘实验室] Attention 该工具已于2020年获得软件著作权，证书号：软着登字第5885316号，如需二次开发使用则要在项目中着重标明来源ECUST-NLP！ Notification 在线试用版网站（a live demo website）： An administrator account: Username:ecust Password:ecustlab301 A typical annotation process using DoTAT may include the following five steps: (1) Defi

Doc2Vec文本分类 文本分类模型，该模型使用gensim Doc2Vec生成段落嵌入，并使用scikit-learn Logistic回归进行分类。 数据集 25,000个IMDB电影评论，特别选择用于情感分析。 评论的情绪是二进制的（1表示肯定，0表示否定）。 与以下出版物相关联地收集了此源数据集： Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. (2011). "Learning Word Vectors for Sentiment An

文本分类（自然语言处理 NLP）

| | | :party_popper: :party_popper: :party_popper: 我们发布了带有TF2支持的2.0.0版本。 :party_popper: :party_popper: :party_popper: 如果您将此项目用于研究，请引用： @misc{Kashgari author = {Eliyar Eziz}, title = {Kashgari}, year = {2019}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/BrikerMan/Kashgari}} } 总览 Kashgari是一个简单而强大的NLP Transfer学

文本分类火炬 通过CNN，RNN，集成方法对文本进行分类。 RNN的体系结构类似于 有关CNN的代码在引用

HanLP: Han Language Processing | | | | | 面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 借助世界上最大的多语种语料库，HanLP2.1支持包括简繁中英日俄法德在内的104种语言上的10种联合任务：分词（粗分、细分2个标准，强制、合并、校正3种）、词性标注（PKU、863、CTB、UD四套词性规范）、命名实体识别（PKU、MSRA、OntoNotes三套规范）、依存句法分析（SD、UD规范）、成分句法分析、语义依存分析（SemEval16、DM、PAS、PSD四套规范）、语义角色标注、词干提取、词法语法特征提取、抽象意义表示（AMR）。 量体裁衣，HanLP提供RESTful和nati

介绍 这是PyTorch中Kim的论文的实现。 Kim在Theano中对该模型的实现： ： Denny Britz在Tensorflow中有一个实现： : 亚历山大·拉赫林（Alexander Rakhlin）在Keras的执行； 要求 Python3 火炬> 0.1 火炬文本> 0.1 麻木 结果 我只是尝试了两个数据集，即MR和SST。 数据集 班级人数 最佳结果 金的论文结果 先生 2个 77.5％（CNN-rand-static） 76.1％（CNN-rand-nostatic） SST 5 37.2％（CNN-rand-static） 45.0％（CNN-rand-nostatic） 我没有为SST认真调整超参数。 用法 ./main.py -h 或者 python3 main.py -h 你会得到： CNN text classificer o

Bert-Chinese-Text-Classification-Pytorch 中文文本分类，Bert，ERNIE，基于pytorch，开箱即用。 介绍 模型介绍、数据流动过程：还没写完，写好之后再贴博客地址。 工作忙，懒得写了，类似文章有很多。 机器：一块2080Ti ， 训练时间：30分钟。 环境 python 3.7 pytorch 1.1 tqdm sklearn tensorboardX pytorch_pretrained_bert(预训练代码也上传了, 不需要这个库了) 中文数据集 我从中抽取了20万条新闻标题，已上传至github，文本长度在20到30之间。一共10个类别，每类2万条。数据以字为单位输入模型。 类别：财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐。 数据集划分： 数据集 数据量 训练集 18万 验证集 1万 测试集 1万 更换自己的数据集 按照

新浪新闻文本分类 语料库重建 本项目的语料来源新浪新闻网，通过spider.py爬虫模块获得全部语料，总计获得10类新闻文本，每一类新闻文本有10条。 采纳新浪新闻网的一个api获取新闻文本，api的url为 使用进度池并发执行爬虫，加快抓取速度。 数据预处理 本项目的数据预处理包括：分词处理，去噪，向量化，由stopwords.py模块，text2term.py模块，vectorizer.py模块实现。 本项目借助第三方库解霸完成文本的分词处理。 通过停用词表移除中文停用词，通过正则表达式消除数字（中文数字＆阿拉伯数字）。 filter_pattern = re . compile ( ur'[-+]?[\w\d]+|零|一|二|三|四|五|六|七|八|九|十|百|千|万|亿' ) 使用进程池并发执行数据的分词和去噪，加快数据预处理的过程。 把数据集1：1划分为训练集和测试集，各50w篇文档。 通过scikit-learn提供的CountVectorizer类完成矢量化，得到训练集和测试集两个文本的特征矩阵，矩阵类型为稀疏矩阵。 移除文档中文档频率小于0.1％的特征，这些特征我们认