CNN-RNN中文文本分类，基于TensorFlow 环境 Python 2/3 (感谢howie.hu调试Python2环境) TensorFlow 1.3以上 numpy scikit-learn scipy

### 文本分类 #### 数据预处理 要求训练集和测试集分开存储，对于中文的数据必须先分词，对分词后的词用空格符分开，并且将标签连接到每条数据的尾部，标签和句子用分隔符\分开。具体的如下： * 今天 的 天气 真好\积极 #### 文件结构介绍 * config文件：配置各种模型的配置参数 * data：存放训练集和测试集 * ckpt_model：存放checkpoint模型文件 * data_helpers：提供数据处理的方法 * pb_model：存放pb模型文件 * outputs：存放vocab，word_to_index, label_to_index, 处理后的数据 * models：存放模型代码 * trainers：存放训练代码 * predictors：存放预测代码 #### 训练模型 * python train.py --config_path="config/textcnn_config.json" #### 预测模型 * 预测代码都在predictors/predict.py中，初始化Predictor对象，调用predict方法即可。 #### 模型的配置参数详述 ##### textcnn：基于textcnn的文本分类 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * num_filters：卷积核的数量 * filter_sizes：卷积核的尺寸 * batch_size：批样本大小 * sequence_length：序列长度 * vocab_size：词汇表大小 * num_classes：样本的类别数，二分类时置为1，多分类时置为实际类别数 * keep_prob：保留神经元的比例 * l2_reg_lambda：L2正则化的系数，主要对全连接层的参数正则化 * max_grad_norm：梯度阶段临界值 * train_data：训练数据的存储路径 * eval_data：验证数据的存储路径 * stop_word：停用词表的存储路径 * output_path：输出路径，用来存储vocab，处理后的训练数据，验证数据 * word_vectors_path：词向量的路径 * ckpt_model_path：checkpoint 模型的存储路径 * pb_model_path：pb 模型的存储路径 ##### bilstm：基于bilstm的文本分类 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * hidden_sizes：lstm的隐层大小，列表对象，支持多层lstm，只要在列表中添加相应的层对应的隐层大小 * batch_size：批样本大小 * sequence_length：序列长度 * vocab_size：词汇表大小 * num_classes：样本的类别数，二分类时置为1，多分类时置为实际类别数 * keep_prob：保留神经元的比例 * l2_reg_lambda：L2正则化的系数，主要对全连接层的参数正则化 * max_grad_norm：梯度阶段临界值 * train_data：训练数据的存储路径 * eval_data：验证数据的存储路径 * stop_word：停用词表的存储路径 * output_path：输出路径，用来存储vocab，处理后的训练数据，验证数据 * word_vectors_path：词向量的路径 * ckpt_model_path：checkpoint 模型的存储路径 * pb_model_path：pb 模型的存储路径 ##### bilstm atten：基于bilstm + attention 的文本分类 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * hidd

本章节主要研究内容：基于PyTorch 深度学习工具来完成短文本分类 知识点 业务需求 文本分类应用场景、技术方案以及挑战 技术架构 文本分析 词向量 CNN 原理 tensorboardX 可视化 项目实战： 基于TextCNN短文本分类，主要从数据预处理、构建此表、Embedding、模型训练、tensorboardX可视化以及在线服务几个重要的环境进行学习 文本分类应用场景 文章分类服务对文章内容进行深度分析，输出文章的主题一级分类、主题二级分类及对应的置信度，该技术在个性化推荐、文章聚合、文本内容分析等场景具有广泛的应用价值. 新闻分类 根据文本描述的内容方向，针对新闻媒体的文章做自动

“复旦大学计算机信息与技术国际数据库中心自然语言处理小组”提供的小样本中文文本分类语料，分为训练集和测试集两部分。内容真实有效

有关于汽车评论的数据集，具体代码实现与数据处理操作参见我的博文https://blog.csdn.net/Wenweno0o/article/details/90522739

使用朴素贝叶斯对newsgroup文档分类的Python实现

train_set.csv test_a.csv

有24000条新闻，共六个类别，直接用python3的pickle.load()该文件即可，是一个24000个元素的list，list的每个元素是一个tuple，tuple的第一个元素是与处理好的文本，第二个元素是对应的标签。

谭松波博士的文本分类软件的一个训练和测试的文本集合,从他主页下载,谢谢分享

获取文本分类所需数据，使用朴素贝叶斯进行分类并保存模型