1、内容概要:本资源主要基于XGBoost与LightGBM实现文本分类,适用于初学者学习文本分类使用。
2、数据集为电商真实商品评论数据,主要包括训练集data_train,测试集data_test ,经过预处理的训练集clean_data_train,训练好的word2vec词向量模型w2v_model.pkl和中文停用词表stopwords.txt,可用于模型训练和测试,详细数据集介绍见商品评论情感数据说明文档。
3、源代码:word2vec_analysis.py 是基于Word2Vec进行词向量的生成,采用向量平均求得句向量,然后分别构建RandomForest和GBDT分类模型进行文本分类。
4、源代码:xgboost_model.py是基于xgboost模型对文本进行分类。
5、源代码:lightGBM_model.py是基于lightGBM模型对文本进行分类。