Python课设项目，有需要的同学自行提取使用。 相关技术：Python爬虫、Django网站开发、HTML5前端、MYSQL数据库

这个是爬虫课程保存的豆瓣电影数据库，结合我博客的数据可视化的内容方便学习 ，对数据进行可视化分析学习，很方便

平台部分主要是hadoop分布式系统，基于该系统融合了组件Spark，Hbase，Hive，Sqoop，Mahout等。继而进行相关的数据分析 该项目主要分为以下几部分: 1:数据采集 主要是基于豆瓣电影的数据，进行分析，所以首先要爬取相关的电影数据，对应的源代码在DouBan_Spider目录下，主要是采用Python + BeautifulSoup + urllib进行数据采集 2:ETL预处理 3:数据分析 4:可视化 代码封装完好， 适用于对作影视感情分析，影评分析，电影类型分析，推荐系统的建立

用爬虫爬取豆瓣电影TOP250源代码,并存储至sqlite数据库.需要安装bs4,requests,urllib,re,openpyxl,sqlite3等库

豆瓣电影数据共3.8万条。 包含[名字 投票人数 类型 产地 上映时间 时长 年代 评分 首映地点]

用flask做了一个简单的页面。然后运行一个推荐后台做实际的推荐分析。前端页面通过socket和一个简单的协议和推荐后台通信，得到推荐结果。具体请看压缩包里的ReadMe文件

豆瓣电影用户评论数据40万条，包括如下字段：id，time，movieId，rating，content，creator，addTime

通过python爬去豆瓣网的数据，用大数据基础对数据进行清洗，然后对清洗的数据可视化，更直观的展示出来

主要介绍了Python利用Scrapy框架爬取豆瓣电影,结合实例形式分析了Python使用Scrapy框架爬取豆瓣电影信息的具体操作步骤、实现技巧与相关注意事项,需要的朋友可以参考下

豆瓣电影Top250爬虫数据文件