PyTorch的Bert多标签文本分类 此仓库包含用于多标签文本分类的预训练BERT和XLNET模型的PyTorch实现。 代码结构 在项目的根目录,您将看到: ├── pybert | └── callback | | └── lrscheduler.py   | | └── trainingmonitor.py  | | └── ... | └── config | | └── basic_config.py #a configuration file for storing model parameters | └── dataset    | └── io
2021-08-27 20:41:49 154KB nlp text-classification transformers pytorch
1
DoTAT: A Domain-oriented Text Annotation Tool East China University of Science and Technology - NLP [华东理工大学-自然语言处理与大数据挖掘实验室] Attention 该工具已于2020年获得软件著作权,证书号:软着登字第5885316号,如需二次开发使用则要在项目中着重标明来源ECUST-NLP! Notification 在线试用版网站(a live demo website): An administrator account: Username:ecust Password:ecustlab301 A typical annotation process using DoTAT may include the following five steps: (1) Defi
1
Doc2Vec文本分类 文本分类模型,该模型使用gensim Doc2Vec生成段落嵌入,并使用scikit-learn Logistic回归进行分类。 数据集 25,000个IMDB电影评论,特别选择用于情感分析。 评论的情绪是二进制的(1表示肯定,0表示否定)。 与以下出版物相关联地收集了此源数据集: Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. (2011). "Learning Word Vectors for Sentiment An
1
文本分类(自然语言处理 NLP)
2021-08-20 01:37:55 251KB 文本分类 自然语言处理 NLP
| | | :party_popper: :party_popper: :party_popper: 我们发布了带有TF2支持的2.0.0版本。 :party_popper: :party_popper: :party_popper: 如果您将此项目用于研究,请引用: @misc{Kashgari author = {Eliyar Eziz}, title = {Kashgari}, year = {2019}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/BrikerMan/Kashgari}} } 总览 Kashgari是一个简单而强大的NLP Transfer学
1
文本分类火炬 通过CNN,RNN,集成方法对文本进行分类。 RNN的体系结构类似于 有关CNN的代码在引用
2021-06-15 10:26:25 3.64MB Python
1
HanLP: Han Language Processing | | | | | 面向生产环境的多语种自然语言处理工具包,基于PyTorch和TensorFlow 2.x双引擎,目标是普及落地最前沿的NLP技术。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 借助世界上最大的多语种语料库,HanLP2.1支持包括简繁中英日俄法德在内的104种语言上的10种联合任务:分词(粗分、细分2个标准,强制、合并、校正3种)、词性标注(PKU、863、CTB、UD四套词性规范)、命名实体识别(PKU、MSRA、OntoNotes三套规范)、依存句法分析(SD、UD规范)、成分句法分析、语义依存分析(SemEval16、DM、PAS、PSD四套规范)、语义角色标注、词干提取、词法语法特征提取、抽象意义表示(AMR)。 量体裁衣,HanLP提供RESTful和nati
1
介绍 这是PyTorch中Kim的论文的实现。 Kim在Theano中对该模型的实现: : Denny Britz在Tensorflow中有一个实现: : 亚历山大·拉赫林(Alexander Rakhlin)在Keras的执行; 要求 Python3 火炬> 0.1 火炬文本> 0.1 麻木 结果 我只是尝试了两个数据集,即MR和SST。 数据集 班级人数 最佳结果 金的论文结果 先生 2个 77.5%(CNN-rand-static) 76.1%(CNN-rand-nostatic) SST 5 37.2%(CNN-rand-static) 45.0%(CNN-rand-nostatic) 我没有为SST认真调整超参数。 用法 ./main.py -h 或者 python3 main.py -h 你会得到: CNN text classificer o
2021-05-31 03:36:22 12KB pytorch cnn-model 附件源码 文章源码
1
Bert-Chinese-Text-Classification-Pytorch 中文文本分类,Bert,ERNIE,基于pytorch,开箱即用。 介绍 模型介绍、数据流动过程:还没写完,写好之后再贴博客地址。 工作忙,懒得写了,类似文章有很多。 机器:一块2080Ti , 训练时间:30分钟。 环境 python 3.7 pytorch 1.1 tqdm sklearn tensorboardX pytorch_pretrained_bert(预训练代码也上传了, 不需要这个库了) 中文数据集 我从中抽取了20万条新闻标题,已上传至github,文本长度在20到30之间。一共10个类别,每类2万条。数据以字为单位输入模型。 类别:财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐。 数据集划分: 数据集 数据量 训练集 18万 验证集 1万 测试集 1万 更换自己的数据集 按照
2021-05-27 22:00:01 6.11MB 附件源码 文章源码
1
新浪新闻文本分类 语料库重建 本项目的语料来源新浪新闻网,通过spider.py爬虫模块获得全部语料,总计获得10类新闻文本,每一类新闻文本有10条。 采纳新浪新闻网的一个api获取新闻文本,api的url为 使用进度池并发执行爬虫,加快抓取速度。 数据预处理 本项目的数据预处理包括:分词处理,去噪,向量化,由stopwords.py模块,text2term.py模块,vectorizer.py模块实现。 本项目借助第三方库解霸完成文本的分词处理。 通过停用词表移除中文停用词,通过正则表达式消除数字(中文数字&阿拉伯数字)。 filter_pattern = re . compile ( ur'[-+]?[\w\d]+|零|一|二|三|四|五|六|七|八|九|十|百|千|万|亿' ) 使用进程池并发执行数据的分词和去噪,加快数据预处理的过程。 把数据集1:1划分为训练集和测试集,各50w篇文档。 通过scikit-learn提供的CountVectorizer类完成矢量化,得到训练集和测试集两个文本的特征矩阵,矩阵类型为稀疏矩阵。 移除文档中文档频率小于0.1%的特征,这些特征我们认
2021-05-14 10:13:12 98KB data-mining text-classification svm scikit-learn
1