新闻分类系统，可上传新闻自动划分类别，上传页为/upload,使用textcnn模型，python 3.6，tensorflow 1.3，前端展示使用Django框架 版本2.0.3，数据库使用默认Sqlite3，所需数据链接：https://pan.baidu.com/s/1WwsiT8qgCWkJzLVDIENhmA 提取码：bf4m 数据下载后需调整textcnn中text_model,textpredict等数据引用路径

用LSTM进行三个文本的分类，进行情感分析和文本分类，入门的NLP案例。

这份代码是我们专业的一个实验，内容包含了文本分词和文本分类。分别使用了正向最大匹配算法和KNN算法。分词速度平均153295词/秒，189100字符/秒。文本分类使用tf-idf计算单词权重进行特征选择，我测试时选择前100个特征词，根据k的不同取值，分类的准确度平均为75%。

RNN、TNN文本分类代码 相关视频见：https://www.bilibili.com/video/BV12Z4y1G71r

之前做了基于机器学习的逻辑回归和贝叶斯进行文本分类，感觉还是太简单了，今天尝试一下字符级CNN用于文本分类，利用tensorflow架构，F1得分0.9661

命名实体识别代码，解压即可用 # BERT-BiLSTM-CRF BERT-BiLSTM-CRF的Keras版实现 ## BERT配置 1. 首先需要下载Pre-trained的BERT模型，本文用的是Google开源的中文BERT模型： - https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip 2. 安装BERT客户端和服务器 pip install bert-serving-server pip install bert-serving-client，源项目如下： - https://github.com/hanxiao/bert-as-service 3. 打开服务器，在BERT根目录下，打开终端，输入命令： - bert-serving-start -pooling_strategy NONE -max_seq_len 144 -mask_cls_sep -model_dir chinese_L-12_H-768_A-12/ -num_worker 1

包括手机、口罩、衣服、酒店、零食等五个类别的数据集，其中好、中、坏评各25000条。

复旦大学谭松波中文文本分类语料库，资源免积分下载，仅供大家学习使用，这个数据集到底怎么用我也没试过。

本文来自于machinelearnings。文章主要引用需要的库，提供训练集，整理数据，迭代：编写代码+测试预测结果+调整模型,抽象,等方面介绍的。理解聊天机器人的工作原理是非常重要的。聊天机器人内部一个非常重要的组件就是文本分类器。我们看一下文本分类器的神经网络（ANN）的内部工作原理。多层神经网络我们将会使用2层网络（1个隐层）和一个“词包”的方法来组织我们的训练数据。文本分类有3个特点：模式匹配、算法、神经网络。虽然使用多项朴素贝叶斯算法的方法非常有效，但是它有3个致命的缺陷：这个算法输出一个分数而不是一个概率。我们可以使用概率来忽略特定阈值以下的预测结果。这类似于忽略收音机中的噪声。这

概述 上一篇中使用BiLSTM-Attention模型进行关系抽取，因为只放出了较为核心的代码，所以看上去比较混乱。这篇以简单的文本分类为demo，基于pytorch，全面解读BiLSTM-Attention。 文本分类实战 整体构建 首先，我们导入需要的包，包括模型，优化器，梯度求导等，将数据类型全部转化成tensor类型 import numpy as np import torch import torch.nn as nn import torch.optim as optim from torch.autograd import Variable import torch.nn.fu