利用python编写了完整爬虫代码，用于爬取百度搜索新闻，输入任意关键词可以爬取相关新闻，对爬取的新闻进行词频统计，分词处理后自动生成新闻摘要。附有完整爬虫、摘要生成及分词处理代码，另有使用说明备注。
2019-12-21 19:27:24
73KB
1
里面有两个文件，一个是python代码文件，另一个是测试数据，程序不够健壮，由于Amazon有防机器人，所以本程序采用延时方法，所以耗时比较长。但对于初学者说，真的不失为一个好的实例，程序涉及到csv文件的读写，beautifulSoup的使用、报头的伪装。
2019-12-21 19:24:07
2KB
1
使用Python3，爬取500彩票网站的足球比赛场次赔率，爬取后以excel形式存放在E:\2017-2018赔率\赔率下载\……
2019-12-21 19:23:34
15KB
1
爬取京东手机销售与评价数据，以excel表格形式存储，以条形图形式展示不同品牌手机在淘宝的评价人数。可以通过更改关键字手机实现对其他商品的爬取。详细介绍https://blog.csdn.net/weixin_42911616/article/details/81506154
2019-12-21 18:57:02
5KB
1
（1）打开豆瓣一部电影评论区，根据html结构捕获三个信息：
一，每账号的评分等级为5星、4星、3星、2星、1星；
二，每个账号的评论留言；
三，跳转到下个评论页面的http链接
（2）获取所有的信息后对信息进行处理：
一，计算出每个星级的总数和一共多少账户进行了评级
二、将所有的评论内容放在一起，处理评论中的空格和其他不规范形式
（3）用matplotlib绘制评分等级占比的饼图，用jieba进行分词处理，用wordcloud生成词云图
同个修改url=https://movie.douban.com/subject/26430636/comments?start=0&limit=20&sort=new_score&status=P&percent;_type=
之中“26430636”为电影的代表，将其换做其他的编号就可以读取和生成其他电影的matplotlib和wordcloud制作评分图和词云图
2019-12-21 18:53:17
14KB
1