【基于R语言的数据挖掘数据分析实操案例】 【2000到2015年豆瓣共47000部电影数据分析】 第一章 数据抓取 第二章 整理电影属性 第三章 整理电影属性 第四章 这样的图表才专业 第五章 频率密度图学会ggplot2 配件 第六章大数据:谁是演艺圈的“关系户“ 第七章 社交网络数据挖掘
仿豆瓣电影demo小程序源码.zip
2021-08-09 09:09:06 4.38MB 小程序 资源达人分享计划
一个模仿豆瓣影评的微信小程序源码.zip
2021-08-09 09:09:02 45.07MB 小程序 资源达人分享计划
豆瓣批量获取看过电影的用户列表,并应用kNN算法预测用户性别 首先从豆瓣电影的“看过这部电影 的豆瓣成员”页面上来获取较为活跃的豆瓣电影用户。 获取数据 链接分析 这是看过"模仿游戏"的豆瓣成员的网页链接:http://movie.douban.com/subject/10463953/collections。 一页上显示了20名看过这部电影的豆瓣用户。当点击下一页时,当前连接变为:http://movie.douban.com/subject/10463953/collections?start=20。 由此可知,当请求下一页内容时,实际上就是将"start"后的索引增加20。 因此,我们可以设定base_url='http://movie.douban.com/subject/10463953/collections?start=',i=range(0,200,20),在循环中url=base_url+str(i)。 之所以要把i的最大值设为180,是因为后来经过测试,豆瓣只给出看过一部电影的最近200个用户。 读取网页 在访问时我设置了一个HTTP代理,并且为了防止访问频率过快而被豆瓣封ip,每读取一个网页后都会调用time.sleep(5)等待5秒。 在程序运行的时候干别的事情好了。 网页解析 本次使用BeautifulSoup库解析html。 每一个用户信息在html中是这样的: 七月 (银川) 2015-08-23   首先用读取到的html初始化soup=BeautifulSoup(html)。本次需要的信息仅仅是用户id和用户的电影主页,因此真正有用的信息在这段代码中: 因此在Python代码中通过td_tags=soup.findAll('td',width='80',valign='top')找到所有的块。 td=td_tags[0],a=td.a就可以得到 通过link=a.get('href')可以得到href属性,也就用户的电影主页链接。然后通过字符串查找也就可以得到用户ID了。
2021-08-08 17:09:29 25KB python 爬虫 预测 分类
用 Python 爬取豆瓣电影分类排行榜 作者博客:https://blog.csdn.net/weixin_52132159 文章链接:https://blog.csdn.net/weixin_52132159/article/details/119505289
2021-08-08 17:05:43 1KB Python requests pyquery html
1
用 Python 爬取豆瓣电影分类排行榜并保存到本地excel文件 作者博客:https://blog.csdn.net/weixin_52132159 文章链接:https://blog.csdn.net/weixin_52132159/article/details/119505289
2021-08-08 17:05:42 1KB Python requests pyquery xlwt
1
爬虫豆瓣top250,Scrpay框架源文件
2021-08-07 18:08:46 32KB Scrapy python 大数据 爬虫
1
豆瓣top250,scrapy框架 ,将爬取结果导入mysql数据库
全网豆瓣影视剧高分榜小程序源码uni-app-video-master
2021-08-03 09:41:22 9.03MB 豆瓣影视小程序
1
豆瓣top250爬虫+可视化
2021-08-03 09:24:38 53.74MB python flask 爬虫
1