爬取豆瓣影评、清洗、jieba分词、做词云图

上传者: 44510615 | 上传时间: 2021-06-23 19:07:33 | 文件大小: 9.91MB | 文件类型: ZIP
爬取豆瓣影评、清洗、jieba分词、做词云图 本程序主要分为3个过程。 1、抓取网页数据 使用Python爬虫技术获取豆瓣电影中最新上映电影的网页,其网址如下: https://movie.douban.com/cinema/nowplaying/qingdao/ 正在上映的电影 每个电影的ID和名称 通过其HTML解析出每部电影的ID号和电影名,获取某ID号就可以得到该部电影的影评网址,形势如下: https://movie.douban.com/subject/26900949/comments https://movie.douban.com/subject/26871938/comments 其中,26900949、26871938就是电影《天使陷落》、《灭绝》的ID号,这样仅仅获取了20哥影评,可以指定开始号start来获取更多影评,例如: https://movie.douban.com/subject/26900949/comments?start=40&limit=20 这意味着获取从第40条开始得20个影评。 2、清理数据 通常将某部影评信息存入eachCommentList列表中。为便于数据清理和词频统计,把eachCommentList列表形成字符串comments,将comments字符串中的“也”“太”“ 的”等虚词(停用词)清理掉后进行词频统计。 3、用词云进行展示 最后使用词云包对影评信息进行词云展示。

文件下载

资源详情

[{"title":"( 24 个子文件 9.91MB ) 爬取豆瓣影评、清洗、jieba分词、做词云图","children":[{"title":"douban_wordCloud-master","children":[{"title":"词云图完成","children":[{"title":"鲨海逃生_使用[马]模板.png <span style='color:#111;'> 98.09KB </span>","children":null,"spread":false},{"title":"为家而战_使用[狗]模板.png <span style='color:#111;'> 127.86KB </span>","children":null,"spread":false},{"title":"紫罗兰永恒花园外传:永远与自动手记人偶_使用[象]模板.png <span style='color:#111;'> 131.91KB </span>","children":null,"spread":false},{"title":"灭绝_使用[蝴蝶]模板.png <span style='color:#111;'> 118.50KB </span>","children":null,"spread":false},{"title":"天使陷落_使用[狮子]模板.png <span style='color:#111;'> 99.72KB </span>","children":null,"spread":false}],"spread":true},{"title":"stopwords.txt <span style='color:#111;'> 12.99KB </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 1.33KB </span>","children":null,"spread":false},{"title":"simhei.ttf <span style='color:#111;'> 9.30MB </span>","children":null,"spread":false},{"title":"main.py <span style='color:#111;'> 5.89KB </span>","children":null,"spread":false},{"title":"要求及中间过程截图","children":[{"title":"正在上映电影.png <span style='color:#111;'> 755.97KB </span>","children":null,"spread":false},{"title":"短评页面.png <span style='color:#111;'> 347.36KB </span>","children":null,"spread":false},{"title":"短评.png <span style='color:#111;'> 324.10KB </span>","children":null,"spread":false},{"title":"获取每个电影的ID和名称.png <span style='color:#111;'> 821.64KB </span>","children":null,"spread":false},{"title":"词云实战——爬取豆瓣影评生成词云.docx <span style='color:#111;'> 1.87MB </span>","children":null,"spread":false}],"spread":true},{"title":"词云图模板","children":[{"title":"蝴蝶.jpg <span style='color:#111;'> 223.50KB </span>","children":null,"spread":false},{"title":"狮子.jpg <span style='color:#111;'> 117.82KB </span>","children":null,"spread":false},{"title":"马.jpg <span style='color:#111;'> 40.77KB </span>","children":null,"spread":false},{"title":"狗.jpg <span style='color:#111;'> 74.30KB </span>","children":null,"spread":false},{"title":"象.jpg <span style='color:#111;'> 98.42KB </span>","children":null,"spread":false}],"spread":true},{"title":"评论TXT文件保存","children":[{"title":"鲨海逃生.txt <span style='color:#111;'> 17.23KB </span>","children":null,"spread":false},{"title":"灭绝.txt <span style='color:#111;'> 17.62KB </span>","children":null,"spread":false},{"title":"为家而战.txt <span style='color:#111;'> 22.82KB </span>","children":null,"spread":false},{"title":"天使陷落.txt <span style='color:#111;'> 19.35KB </span>","children":null,"spread":false},{"title":"紫罗兰永恒花园外传:永远与自动手记人偶.txt <span style='color:#111;'> 27.27KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true}]

评论信息

  • ASTERIA11 :
    用户下载后在一定时间内未进行评价,系统默认好评。
    2021-09-17

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明