豆瓣电影用户评论数据40万条，包括如下字段：id，time，movieId，rating，content，creator，addTime

通过python爬去豆瓣网的数据，用大数据基础对数据进行清洗，然后对清洗的数据可视化，更直观的展示出来

顶部导航栏可滑动可点击，仿微信仿豆瓣的示例代码，有什么问题请在http://blog.csdn.net/qq347198688/article/details/52528485查看并联系我。

主要介绍了Python利用Scrapy框架爬取豆瓣电影,结合实例形式分析了Python使用Scrapy框架爬取豆瓣电影信息的具体操作步骤、实现技巧与相关注意事项,需要的朋友可以参考下

1.第一步的代码，是创建数据库以及相关的表，在第一次运行之后，就不需要运行了。 其实如果不需要根据运行的情况，在运行的时候创建表，我是觉得直接用可视化工具创建表示更加省功夫的。 2.期间还是发现很多问题的，mysql是模块名，所以自己的模块就不能有相同的模块名，否则会报一些奇怪的错误。 3.sql语句里面，表名、字段名是不需要单引号包着的，或者可以用`包着，这个就是键盘上面tab上一个，或者1左边那个符号，不知道叫什么。 毕业这么多年才知道，因为一直用Navicat来创建表的。或许这就是使用可视化工具的副作用吧。 4.好多地方可以优化的，不过就先不纠结了，现阶段看多几份代码可能更加有效果。

小程序使用豆瓣API接口，实现获取数据，回调数据，分页等功能

豆瓣电影Top250爬虫数据文件

此压缩包是博主的一个豆瓣电影小程序，用于获取当前城市电影热播榜单，获取豆瓣电影Top250，以及电影页面的详情展示，有兴趣可以下载把玩。

python爬取豆瓣新片排行榜

爬虫获取电影信息影评并分词写入Excel表 使用Java中基本的Jsoup来进行爬虫操作，分词工具使用jieba分词，excel写入使用jxl