经过上一篇教程我们已经大致了解了Scrapy的基本情况，并写了一个简单的小demo。这次我会以爬取豆瓣电影TOP250为例进一步为大家讲解一个完整爬虫的流程。
工具和环境
语言：python 2.7
IDE： Pycharm
浏览器：Chrome
爬虫框架：Scrapy 1.2.1
https://zhuanlan.zhihu.com/p/24769534?refer=woodenrobot
2020-01-03 11:33:57
6KB
1
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。本实例通过Java爬取豆瓣电影数据，并通过文件流存入本地
2020-01-03 11:32:20
15.97MB
1
豆瓣电影数据集（截至2019年3月），共91369条。 包含[电影名称，评分，评价人数，各星级占比，短评数量，影评数量，类型，导演，编剧，主演，制片国家/地区，语言，上映日期，片长，网址，剧情简介]
2019-12-21 22:19:20
36.02MB
1
豆瓣电影数据集12万+用户影评40万+爬虫程序(可做推荐系统) 。
豆瓣电影数据集12万+用户影评40万+爬虫程序(两个csv，一个db数据库) 最近在学习爬虫，辛辛苦苦爬了几天，分享给大家。。可以用来做推荐系统 觉得好的朋友帮忙评论下打个5星~
数据集 豆瓣 爬虫。
2019-12-21 22:04:46
42.57MB
1