从豆瓣批量获取看过电影的用户列表,并应用kNN算法预测用户性别 首先从豆瓣电影的“看过这部电影 的豆瓣成员”页面上来获取较为活跃的豆瓣电影用户。 获取数据 链接分析 这是看过"模仿游戏"的豆瓣成员的网页链接:http://movie.douban.com/subject/10463953/collections。 一页上显示了20名看过这部电影的豆瓣用户。当点击下一页时,当前连接变为:http://movie.douban.com/subject/10463953/collections?start=20。 由此可知,当请求下一页内容时,实际上就是将"start"后的索引增加20。 因此,我们可以设定base_url='http://movie.douban.com/subject/10463953/collections?start=',i=range(0,200,20),在循环中url=base_url+str(i)。 之所以要把i的最大值设为180,是因为后来经过测试,豆瓣只给出看过一部电影的最近200个用户。 读取网页 在访问时我设置了一个HTTP代理,并且为了防止访问频率过快而被豆瓣封ip,每读取一个网页后都会调用time.sleep(5)等待5秒。 在程序运行的时候干别的事情好了。 网页解析 本次使用BeautifulSoup库解析html。 每一个用户信息在html中是这样的: 七月 (银川) 2015-08-23   首先用读取到的html初始化soup=BeautifulSoup(html)。本次需要的信息仅仅是用户id和用户的电影主页,因此真正有用的信息在这段代码中: 因此在Python代码中通过td_tags=soup.findAll('td',width='80',valign='top')找到所有的块。 td=td_tags[0],a=td.a就可以得到 通过link=a.get('href')可以得到href属性,也就用户的电影主页链接。然后通过字符串查找也就可以得到用户ID了。
2021-08-08 17:09:29 25KB python 爬虫 预测 分类
内含数据集。先执行cut_data.py划分训练集和测试集,再执行main.py即可。
2021-07-25 22:06:06 44KB python KNN算法
python实现了简单的knnk近邻算法,读取的是里面的xlsx文件,最后进行混淆矩阵评估,距离使用的欧式矩阵。
2021-07-22 15:58:04 12KB k紧邻算法 python knn 实现
1
可以直接运行的Python程序,里面包含了数据集和测试集,有利于初学者入门。
2021-07-10 15:03:47 2KB Python knn 机器学习
1
knn手写数字识别(代码和数据)
2021-06-27 16:23:40 986KB python KNN算法
1
KNN分类算法原理,KNN分类算法Python实战,KNN算法补充。
2021-05-12 16:10:27 331KB Python knn分类算法 机器学习1
1
使用knn算法自动分类。鼠标点击会产生一个点,该点颜色会根据周围4个距离最近的点的颜色进行分类标色。
2021-05-11 18:07:00 9KB 机器学习 Knn python
1
美国1994年人口普查数据,居民年收入是否超过50K的分类问题。我用KNN算法实现了一下二分类。代码注释详细,附有实习指导书说明、数据。修改路径即可运行。
2021-04-24 20:57:41 1.25MB python KNN 美国人口收入预测 二分类
1
python实现knn、naive bayes、vsm、tf-idf模型。并包含数据集
2021-04-19 22:12:54 40.90MB python knn naive bayes
1
knn算法——批量识别验证码.rar
2021-04-13 11:05:41 4.13MB knn python
1