摘 要：本文爬取豆瓣电影TOP250的榜单电影信息和热评，运用数据可视化和文本挖掘的相关方法和理论对电影进行Knn分类和KMeans聚类以及相关的电影信息分析，并预测了新上映电影的所属类型,画出了相应的混淆矩阵
2021-03-05 22:06:53
893KB
1
首先通过构造统一资源器即网址（URL），进行豆瓣电影Top250主页的网页获取，利用Beautiful Soup解析html获得数据，再利用正则表达式匹配并获取开发者工具调试页面中的电影各项信息，接着对其中的一些无用的字符进行处理，最后存入excel表格中（流程图如图）。对每部电影进行详细信息的获取也是类似的方法，主要不同是需要依据在主页获取的每部电影的详情链接来进入详情界面。
2021-02-06 13:06:50
5KB
1
使用scrapy框架爬取豆瓣图书榜Top250，并使用django框架进行数据的分析展示。包含设计文档。
2021-02-04 19:06:40
866KB
1
精心整理2020年热门高分电影TOP250名录，包含电影名称，导演，年份，类别，评语，海报图等字段，可下载应用于数据库基础数据构建上层应用，数据格式为json，noSql数据库可以直接导入，sql数据库请自行转换结构。
2021-01-28 02:57:43
107KB
1
经过上一篇教程我们已经大致了解了Scrapy的基本情况，并写了一个简单的小demo。这次我会以爬取豆瓣电影TOP250为例进一步为大家讲解一个完整爬虫的流程。
工具和环境
语言：python 2.7
IDE： Pycharm
浏览器：Chrome
爬虫框架：Scrapy 1.2.1
https://zhuanlan.zhihu.com/p/24769534?refer=woodenrobot
2020-01-03 11:33:57
6KB
1