smote的matlab代码
JD
Comment_emotional
analysis
京东评论文本挖掘(产品口碑分析)
一、文本挖掘方向及基本思路
文本挖掘方向:
用于分析京东用户对手机的观点、态度、情绪、立场以及其他主观感情的技术。
文本挖掘基本思路:
1、探索性分析:观测数据信息(含数据字段、数据缺失情况、样本分布情况等)
2、数据预处理:包括去除无效标签、编码转换、文档切分、基本纠错、去除空白、大小写统一、去标点符号、去停用词、保留特殊字符等。
3、文本分词及特征提取:jieba中文文本分词模型、文本特征转化未向量空间模型、海量稀疏特征做特征提取。
4、分类建模和效果评估:选择特定分类模型,建立模型并作效果评估和结论分析。
二、探索性分析
1、查看原始数据前4条数据情况
2、查看数据集记录数、维度、数据类型情况
数据集大小21*3637,时间字段为数值型需转化为日期型
3、文本评分分布情况
4、评论发布时间分布情况
5、评论长度与评分关系情况
三、文本预处理
1、中文分词:著名的nltk包对分词有良好的效果,劣势在于对中文不友好。对此选用jieba包进行处理。这里我们把文本通
2021-09-15 21:43:14
592KB
系统开源
1