该项目主要分为两个部分，一部分为网络爬虫，另一部分为文本情感分析。网络爬虫主要爬取了京东以及淘宝的评论数据，爬取京东评论采用了selenium，淘宝的话反爬虫措施确实比较到位，目前只能根据已有的评论链接进行爬取。文本情感分析采用了情感词典和SnowNLP两种方式，当然SnowNLP的准确率和召回率较高。最后使用tkinter做图形界面将二者的逻辑串联起来，即用户输入一个京东商品的链接，软件解析链接并爬取评论，将评论显示在表格中，并通过词云展示给用户；同时，SnowNLP分析所有评论，将好评及差评数目统计下来。
2021-04-23 17:04:25
14.78MB
为提高对虚假评论的识别精度并对评论数据的有效性进行准确预测，提出一种面向在线产品数据的有效性建模与测量方法。通过结合基于核主成分的特征提取方法和最小二乘支持向量机对在线产品的虚假评论进行识别，基于排序Logit构建回归模型对量化的评论数据进行有效性判别预测。实验结果表明，该方法在虚假评论识别和数据有效性分析方面效果良好，可以为消费者提供更为精确的消费参考、为商业机构提供更具辨识意义的评论数据，具有良好的应用价值。
2021-04-14 10:12:10
913KB
1
个人使用八爪鱼爬取的微博评论内容，来自2021年1月6日的一条微博，仅分享给大家做科研使用
2021-03-13 10:12:15
40KB
1
豆瓣影评数据，21000多条，包括movie_name, user_name, score, comment, date等字段，只需简单处理就可使用。
2021-03-08 13:06:37
5.59MB
1