近30000条豆瓣电影信息，包括中文名，国别，类别，部分短评等信息。最关键的是有手工筛选过的关键词（类似于标签，但比标签更多）信息。

基于Python Scrapy实现的豆瓣电影数据采集爬虫系统 含数据库SQL和全部源代码 # -*- coding: utf-8 -*- """ @Author : nesta @Email : 572645517@qq.com @Software: PyCharm @project : movie @File : MovieSpider.py @Time : 2018/4/26 9:18 """ from scrapy.spiders import Spider from scrapy.http import Request from scrapy.selector import Selector from movie.items import MovieItem class MovieSpider(Spider): name = 'movie' url = u'https://movie.douban.com/top250' start_urls = [u'https://movie.douban.com/top250'] def parse(self, response): item = MovieItem() selector = Selector(response) # 解析 movies = selector.xpath('//div[@class="info"]') for movie in movies: title = movie.xpath('div[@class="hd"]/a/span/text()').extract() fullTitle = '' for each in title: fullTitle += each movieInfo = movie.xpath('div[@class="bd"]/p/text()').extract() star = movie.xpath('div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()[0] quote = movie.xpath('div[@class="bd"]/p/span/text()').extract() if quote: quote = quote[0] else: quote = '' item['title'] = fullTitle item['movieInfo'] = ';'.join(movieInfo).replace(' ', '').replace('\n', '') item['star'] = star[0] item['quote'] = quote yield item nextPage = selector.xpath('//span[@class="next"]/link/@href').extract() if nextPage: nextPage = nextPage[0] print(self.url + str(nextPage)) yield Request(self.url + str(nextPage), callback=self.parse)

在这个豆瓣电影分析与推荐系统中，我们使用了PYTHON语言来编写整个项目代码，分析所需数据完全利用爬虫爬取得到，爬取所得的数据被存入MYSQL数据库中，取得的数据被用作两个方面。 其一，被爬取得到的数据被用于进行电影分析，我们将爬取到的top300部电影的信息按照影片发行国家和影片类型进行了分析并制作了图表来直观显示受欢迎的电影的分类。 其二，我们利用了一种用于推荐系统的算法---协同过滤算法，来为每位参与电影评分的用户筛选出推荐电影内容，首先读入数据，形成用户-电影矩阵，其次根据用户-电影矩阵计算不同电影之间的相关系数（一般用person相关系数），形成电影-电影相关度矩阵。然后根据电影-电影相关度矩阵，以及用户已有的评分，通过加权平均计算用户未评分电影的预估评分。例如用户对A电影评3分、B电影评4分、C电影未评分，而C电影与A电影、B电影的相关度分别为0.3和0.8，则C电影的预估评分为(0.3*3+0.8*4)/(0.3+0.8)。 然后，我们实现了一些创新的功能。首先，我们爬取网页当中电影的数据，对网页当中的电影数据进行分析，分类，确定不同类型电影的百分比。然后我们分析用户对不同类型电影的打分情况，运用同类分析的方法对用户进行推荐其可能感兴趣的电影

豆瓣电影数据共3.8万条。 包含[名字 投票人数 类型 产地 上映时间 时长 年代 评分 首映地点]

通过python爬去豆瓣网的数据，用大数据基础对数据进行清洗，然后对清洗的数据可视化，更直观的展示出来

主要介绍了Java爬取豆瓣电影数据的方法,结合实例形式详细分析了Java爬取豆瓣电影数据相关原理、操作步骤、实现技巧与注意事项,需要的朋友可以参考下

这个项目源于大三某课程设计。平常经常需要搜索一些电影，但是不知道哪些评分高且评价人数多的电影。为了方便使用，就将原来的项目重新改写了。当做是对爬虫技术、可视化技术的实践了。主要是通过从排行榜和从影片关键词两种方式爬取电影数据。

本资源1000条豆瓣电影数据包含 时长 导演 片名 评分等24个字段 主要作为数据分析的练手数据 配合我的博客 pandas的基本操作使用 完整数据可留言索要

豆瓣电影数据集，2019年的。有九万多条，可以下载一下。

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。本实例通过Java爬取豆瓣电影数据，并通过文件流存入本地