TextClassification-Keras 这个代码库实现了一个各种深学习模型使用Keras框架,其中包括文本分类:FastText,TextCNN,TextRNN,TextBiRNN,TextAttBiRNN,韩,RCNN,RCNNVariant等除了模型实现,简化应用程序包括在内。 指导 环境 Python 3.7 NumPy 1.17.2 Tensorflow 2.0.1 用法 所有代码都位于目录/model ,每种模型都有对应的目录,其中放置了模型和应用程序。 例如,FastText的模型和应用程序位于/model/FastText ,模型部分为fast_text.py ,应用程序部分为main.py 模型 1个FastText FastText是在“提出的。 1.1论文描述 使用查找表,将ngram包转换为单词表示形式。 将单词表示形式平均为一个文本表示形式,它是一个隐藏变量。 文本表示又被馈送到线性分类器。 使用softmax函数可计算预定义类上的概率分布。 1.2在这里实现 FastText的网络结构: 2个TextCNN 在提出了TextCNN
2021-11-09 18:35:46 1.21MB nlp text-classification keras fasttext
1
文字傻瓜 自然语言对文本分类和推理的攻击模型 这是该论文的源代码: 。 如果使用代码,请引用以下文章: @article{jin2019bert, title={Is BERT Really Robust? Natural Language Attack on Text Classification and Entailment}, author={Jin, Di and Jin, Zhijing and Zhou, Joey Tianyi and Szolovits, Peter}, journal={arXiv preprint arXiv:1907.11932}, year={2019} } 数据 我们的7个数据集在。 先决条件: 所需的软件包在requirements.txt文件中列出: pip install requirements.txt 如何使用
1
20个新闻组文本分类 本笔记本包含使用数据集、使用和库的文本分类实现,以及使用库的一些模型解释。 本笔记本随附的博客文章:
1
多任务学习专家 注意:从0.4.0开始,tf版本必须大于等于2.1。 安装 pip install bert-multitask-learning 它是什么 这个项目使用变压器(基于拥抱面部变压器)进行多模式多任务学习。 我为什么需要这个 在原始的BERT代码中,多任务学习或多GPU训练都不可行。 另外,该项目的初衷是NER,它在原始BERT代码中没有有效的脚本。 总而言之,与原始bert回购相比,此回购具有以下功能: 多模式多任务学习(重写大部分代码的主要原因)。 多GPU训练 支持序列标记(例如NER)和Encoder-Decoder Seq2Seq(带变压器解码器)。 支持哪些类型
1
安装 # install with pypi pip install pytorch-pqrnn # or install locally with poetry poetry install 环境 由于, pytorch-qrnn不再与pytorch兼容,并且也没有得到积极维护。 如果要在此模型中使用QRNN层,请先安装torch <= 1.4 pytorch-qrnn 。 用法 from pytorch_pqrnn . dataset import create_dataloaders from pytorch_pqrnn . model import PQRNN model = PQRNN ( b = 128 , d = 96 , lr = 1e-3 , num_layers = 2 , dropout = 0.5 , output_size = 5 ,
2021-10-08 21:49:32 65KB nlp text-classification pytorch pqrnn
1
简单的变形金刚 该库基于HuggingFace的库。 使用简单的Transformers,您可以快速训练和评估Transformer模型。 初始化模型,训练模型和评估模型仅需要三行代码。 技术支持 序列分类 代币分类(NER) 问题回答 语言模型微调 语言模型训练 语言生成 T5型号 Seq2Seq任务 多模态分类 对话式AI。 文本表示生成。 目录 设置 与conda 从安装Anaconda或Miniconda Package Manager 创建一个新的虚拟环境并安装软件包。 conda create -n st python pandas tqdm conda activate st如果使用cuda: conda install pytorch>=1.6 cudatoolkit=11.0 -c pytorch否则: conda install pytorch cpuonly
1
知识蒸馏在文本方向上的应用 模型相关等内容在有具体介绍。 目录 更新日志 2020.08.28 整理代码结构,抛弃借鉴的Bert模型,增加xlnet模型,预训练xlnet模型效果较差,可以在模型基础上再进行预训练,因此添加了模型预训练代码。 2020.07.15 修复bug,添加textGCN模型(单独训练,模型效果较差)。 2020.07.06 移除模型介绍&部分模型实现,增加使用说明及运行环境。 2020.05.28 增加了直接使用学生模型训练代码,并使用公开测试集完成测试。 运行环境 python 3.7 pytorch 1.1 (BERT模型参考Bert-Chinese-Text-Classification-Pytorch,有较多改动) transformers 3.0.2 torch 1.5.0 使用说明 下载Wikipedia_zh 中文维基百科 预训练词向量放入Knowl
2021-10-03 16:16:24 1.11MB pytorch knowledge-distillation bert Python
1
Transformers_for_Text_Classification 基于Transformers的文本分类 基于最新的出品的v2.2.2代码进行重构。为了保证代码日后可以直接复现而不出现兼容性问题,这里将放到本地进行调用。 强调 支持transformer模型后接各种特征提取器 支持测试集预测代码 精简原始变形金刚代码,使之更适合文本分类任务 优化日志记录终端输出,使之输出内容更加合理 支持 型号: 伯特 伯特·cnn bert_lstm 伯特·格鲁 互联网 xlnet_cnn xlnet_lstm xlnet_gru 阿尔伯特 内容 数据集:存放数据集 pretrai
1
零售产品分类 该项目有助于将零售产品分类。 尽管在此示例中,类别按层次结构进行了结构,但为简单起见,我将所有子类别都视为顶级类别。 该项目中使用的主要软件包是: , 和 。 您可以在阅读解释该项目的文章。 您将需要Python3 +才能使用此项目。 安装 1.下载 现在,您需要在工作空间中使用text-classification-python项目文件: $ git clone https://github.com/joaorafaelm/text-classification-python ; $ cd text-classification-python ; 2. Virtuale
2021-08-30 14:36:10 7.16MB python nlp machine-learning scraper
1
PyTorch的BERT中文文本分类 此存储库包含用于中文文本分类的预训练BERT模型的PyTorch实现。 代码结构 在项目的根目录,您将看到: ├── pybert | └── callback | | └── lrscheduler.py   | | └── trainingmonitor.py  | | └── ... | └── config | | └── base.py #a configuration file for storing model parameters | └── dataset    | └── io     | | └── be
2021-08-27 20:50:35 46KB nlp text-classification pytorch chinese
1