京东评论情感分析模型，主要包括1、数据获取及探索性分析；2、文本预处理、文本分词、文本向量化、特征提取、

功能：计算新闻文本类情感分析 依赖库： jieba pyyaml colorama pyExcelerator sqlalchemy 算法： TF-IDF算法； 余弦距离算法； 详细算法见DOC中数学模型。

基于Pytorch的Bert应用，包括命名实体识别、情感分析、文本分类以及文本相似度等(后续更新其他方向相关模块)，并有相关数据与深度训练优化方式api。各个子项目大都为开源工作，本项目仅做相应处理以及提供一个已训练的预测接口，方便需求者进行快速的使用。本项目仅作为学习与研究使用，若存在侵权行为，请原作者务必联系我进行协商处理。

Scrapy 爬虫 + 数据清理 + 数据分析 + 构建情感分析模型 一、爬取豆瓣Top250的短评数据 movie_item movie_comment movie_people 二、数据清理与特征工程+统计分析 movie_item 总评分最高的前10部电影 最受欢迎的电影类别排名 最受欢迎的电影出品国家排名 最受欢迎的电影导演排名 最受欢迎的电影演员排名 最受欢迎的电影语言排名 根据电影时长的电影排名 根据电影投票数的电影排名 根据电影评价数的电影排名 根据电影提问数的电影排名 根据电影发布时间的规律 1~5星级投票的百分比 电影简介的情感分析 movie_comment 就肖申克的救赎这个电影而言 短评词云 用朴素贝叶斯完成中文文本分类器 用svc完成中文文本分类器 用facebook-fasttext有监督完成中文文本分类 用facebook-fasttext无监督学习 用cnn做中文文本分类 用rnn做中文文本分类 用gru来完成中文文本分类 全部影片的短评数据分析 movie_people 短评人常居地按照国家分布 中国短评人常居地按照省份分布 每个短评人的被关注数与好友数 中国短评人的被关注数和好友数的人均地域分布 根据点评人个人简介构建中文文本分类模型 三、movie_item + movie_comment + movie_people 三个数据集间的协同分析 通过短评来预测被评价电影是什么类型 小结

中文文本情感分析案例 课程配套程序 该文件夹是本次课程配套的程序，打来即可使用 课后作业数据集 为大家课后作业的数据集，可以在该数据集上进行相关训练 test.tsv为测试数据集，测试模型准确度 train.tsv为训练集，用于模型训练 预处理程序 预处理程序文件夹是供大家研究预处理的程序，主要涉及到正则表达式知识点

基于CNN的中文文本分类算法（可应用于垃圾邮件过滤、情感分析等场景） 利用word2vec先获取中文测试数据集中各个字的向量表达，再输入卷积网络进行分类。 运行方法 训练 run python train.py to train the cnn with the spam and ham files (only support chinese!) (change the config filepath in FLAGS to your own) 在tensorboard上查看summaries run tensorboard --logdir /{PATH_TO_CODE}/runs/{TIME_DIR}/summaries/ to view summaries in web view 测试、分类 run python eval.py --checkpoint_dir /{PATH_TO_CODE/runs/{TIME_DIR}/checkpoints} 如果需要分类自己提供的文件，请更改相关输入参数 如果需要测试准确率，需要指定对应的标签文件(input_label_file): python eval.py --input_label_file /PATH_TO_INPUT_LABEL_FILE 说明：input_label_file中的每一行是0或1，需要与input_text_file中的每一行对应。 在eval.py中，如果有这个对照标签文件input_label_file，则会输出预测的准确率 推荐运行环境 python 2.7.13 :: Anaconda 4.3.1 (64-bit) tensorflow 1.0.0 gensim 1.0.1 Ubuntu16.04 64bit

诗歌在中国是一个极为重要且历史悠久的文学体裁。纵横千年的时间跨度、数量巨大的诗人群体、卷帙浩繁的诗歌文本都使得在传统的文本阅读方式下，中国诗歌的宏观把握变得极其不易。因此，随着计算机算力与计算模型的发展，越来越多的研究者将目光聚焦到了使用计算机对诗歌进行文本分析的研究领域，已有研究者对中国古诗进行了统计建模与宏观分析$^{[1]}$，但所用文本语料多为《全唐诗》《全宋词》等，以《诗经》为语料的文本分析研究，未之有也。因此需要有人在这个方面进行一些探索，本文便是一次尝试， 试图从另一个视角出发，更高效地处理《诗经》文本，并提供文本分析视角下对《诗经》的宏观刻画、描述与阐释。 本文从字频、词频、文本长度、文本方差、情感分析、提取主题词等各个维度，对《诗经》进行了以下文本分析: 首先从单字的角度，对诗经进行了字数、字频、各句长度方差等统计。 经过效果对比，选用北京大学的分词工具Pkuseg，对《诗经》进行分词处理。 在分词基础上统计词频且生成词云。 通过文本长度，文本方差来寻找风雅颂三部分之间的差异。 通过对《诗经》中篇目的情感分析，绘制出风雅颂各部分的情感变化曲线。 提取出文本中的主题词，并以此为基础构建出每篇作品的文本向量。 选定文本长度，文本方差，文本向量作为作品的三个特征，共同组成一个样本来表达一篇作品。 抽取样本，通过计算距离的方式对《诗经》中风雅颂三部分进行聚类，绘制出表达聚类效果的轮廓系数曲线。 以束皙的六首《补亡诗》与陶渊明的四首《时运》为例，计算二者作品与《诗经》的相似程度。

基于谭松波老师的酒店评论数据集的中文文本情感分析，二分类问题 数据集标签有pos和neg，分别2000条txt文本 选择RNN、LSTM和Bi-LSTM作为模型，借助Keras搭建训练 主要工具包版本为TensorFlow 2.0.0、Keras 2.3.1和Python 3.6.2 在测试集上可稳定达到92%的准确率

最新的TensorFlow 中文数据集 基于 jieba 的中文处理工具 模型训练，模型保存，模型估计的完整实现

中文文本情感分析，可使用多种模型 使用bert模型进行训练测试，执行命令如下 python main.py --model bert 基于训练好的bert模型预测新数据，执行命令如下 python predict.py --model bert --predict "your sentence" 使用ERNIE模型进行训练测试，执行命令如下 python main.py --model ERNIE 基于训练好的ERNIE模型预测新数据，执行命令如下 python predict.py --model ERNIE --predict "your sentence"