本文实例讲述了Python利用Scrapy框架爬取豆瓣电影。分享给大家供大家参考，具体如下： 1、概念 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 通过Python包管理工具可以很便捷地对scrapy进行安装，如果在安装中报错提示缺少依赖的包，那就通过pip安装所缺的包 pip install scrapy scrapy的组成结构如下图所示 引擎Scrapy Engine，用于中转调度其他部分的信号和数据传递 调度器Scheduler，一个存储Request的队列，引擎将请求的连接发送给Schedu

DoubanBookSpider 抓取豆瓣的书籍信息并持久化到mysql数据库 这个爬虫的思路主要受@lanbing510 的启发，不同的是实现方面我自己用了requests库,持久化用了mysql，另外添加了日志模块logging。在应对豆瓣反爬虫方面，由于不想买收费代理，而我自己又是ADSL拨号上网，所以一旦检测到豆瓣返回403，就主动断开路由连接，重连获取新的ip。 以下介绍一下思路和实现。 一、爬虫思路及架构 通过观察豆瓣网书籍的具体页面，我们可以发现，具体书籍网址的组成形式为： 其中bookid为具体的数字。第一种思路是设定一个比较大的数字，然后从1到这个数字的范围之内去遍历所有数字对应的网址，但是我们可以发现，这些书的id往往非常大，基本都是百万级别的数字，一个个去撞库非常不现实。 其实每本书都有很多标签，每个标签都汇集了同一类的所有书，要是可以获取到所有标签，然后根据这些标签

第九章 广州二手房数据爬取与数据分析及可视化 (上课的).ipynb

使用Python对汽车数据进行爬取，并将爬取结果进行可视化大屏展示，展示的情况包括车辆信息、车辆图片、可视化图表、排行榜等，资源内有效果图，使用前请仔细查看说明文档

通过HBase、Hive、MySQL和Python的联合使用，对弹幕数据进行了基础的分析，文章适合大数据的初学者用于提升和进一步系统地认识。

FFmpeg分为3个版本：Static、 Shared、 Dev 前两个版本可以直接在命令行中使用。包含了三个exe:ffmpeg.exe，ffplay.exe，ffprobe.exe Static版本中的exe体积较大,那是因为相关的Dll都已经编译进exe里面去了。 Shared版本中exe的体积相对小很多,是因为它们运行的时候还需要到相关的dll中调用相应的功能 Dev版本用于开发,里面包含了库文件xxx.lib以及头文件xxx.h 也可按照博文自行编译：https://blog.csdn.net/u012793120/article/details/110719612

牛客网招聘网站数据集爬取，用于大数据基础课程设计项目的统计分析。主要是利用招聘数据在Hadoop生态中进行导入、导出、统计分析、数据可视化。

爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据，放假分析以及预测

中图网爬取的二手房数据——NoSQL综合项目数据集，对HBase、Redis、MongoDB、Neo4j等NoSQL数据库进行增删改查操作，并对MongoDB进行基本的统计分析。

贝克找房网站爬取的二手房数据信息，该数据用于Hadoop综合项目的数据分析。主要利用MapReduce、Hive对爬取的数据统计分析，并进行数据可视化。