该课题要求爬取目标网站：https://www.51job.com中，输入关键字后工作岗位的基本信息如岗位名字、岗位薪资、base地、福利、岗位要求、岗位需求公司、发布日期、公司所属行业、公司性质、招聘岗位简介、公司简介等，爬取过程中需要注意网页反爬机制。
（1）编写代码，模仿浏览器人为操作，通过关键字爬取人才网的职位信息；
（2）将爬取到的网页信息进行信息预处理、清洗等。
（3）将处理完的数据存储在Mysql数据库中，数据库名为job，或者数据存储在名为job的Excel表格或名为job的记事本文件中。
（4）用数据可视化处理数据，生成岗位在地图上面的热力图、热门地区岗位薪资待遇柱状图、热门地区岗位招聘个数折线图以及以招聘地区出现次数的云图，从而反馈出岗位的热门地区以及薪资待遇。
（5）设计对抓取数据的备份还原机制，确保数据安全。
2023-02-02 16:45:36
3.63MB
1
实现对豆瓣，电影天堂的电影数据爬取，使用Echarts图表可视化展示，前端使用js,css,html.后端采用python.
1.爬虫框架采用etree，beautiful-soup等。
2.将数据爬取成功后保存在txt文件中。
3.详细介绍可进入作者主页，搜索电影数据爬取可视化展示的文件介绍
4.课程设计改造请与作者在csdn聊天界面联系。
5.爬虫框架采用etree，beautiful-soup等。
6.将数据爬取成功后保存在txt文件中。
7.详细介绍可进入作者主页，搜索电影数据爬取可视化展示的文件介绍
8.课程设计改造请与作者在csdn聊天界面联系。
9.爬虫框架采用etree，beautiful-soup等。
10.将数据爬取成功后保存在txt文件中。
11.详细介绍可进入作者主页，搜索电影数据爬取可视化展示的文件介绍
12.课程设计改造请与作者在csdn聊天界面联系。
2023-01-31 16:52:06
62.09MB
1
本项目主要分为两个部分：爬取数据与处理数据
项目资源中包含了上述两个部分的源代码文件，其次包含了可视化中的词云图的背景图，以及停用词表、爬取的url集合、爬取的数据集合和最终生成的直方图集合与词云图集合
其中city文件为猎聘网城市代码与城市名称的对应关系
2023-01-30 14:51:07
1.36MB
1
之前爬取都是网页上的数据，今天要来说一下怎么借助Fidder来爬取手机APP上的数据。
一、环境配置
1、Fidder的安装和配置
没有安装Fidder软件的可以进入 这个网址 下载，然后就是傻瓜式的安装，安装步骤很简单。在安装完成后，打开软件，进行如下设置：
这里使用默认的8888端口就好了，如果要修改的话，要避免和其他端口冲突。
2、手机的配置
首先打开cmd，输入ipconfig查看IP地址，记录下这个IP地址：
想要使用FIdder进行手机抓包，要让手机和PC处在同一个内网中，方法就是连接同一个无线网络。然后打开手机，进入Wi-FI设置修改代理为手动代理，再把上面的IP地址和8
2023-01-16 14:43:29
691KB
1
python_toutiao
小白用python爬取今日头条列表以及今日头条详情
详情分析请参见
2023-01-11 15:46:04
3KB
1
FindSonngs
前些天偶然听到了某首歌， 发现挺好听的，然后打开歌曲评论，发现评论数竟然高达80多万，紧接着我又看了下歌曲的发行日期，17年的，看到这就不能忍了，像我这种音乐达人（自恋一会大笑）怎么能不知道这种好歌呢！ ！ ！
然后刚好最近考完试，于是决定写个类似的爬虫程序来爬取高评论数歌曲，好了，废话不多说，下面开始介绍下程序吧。
主要功能是：以某首歌为入口，爬取歌曲关联歌单，然后分别遍历对应歌单中歌曲，同样也可再提取对应歌曲的歌单，往复进行。最后关键的是能够提取到每首歌曲的评论以及数目，不过这里的主要目的是评论数目大于15万的则记录下来。
针对的是手机酷狗app（为啥不是别的我就懒得说了，没有啥原因），然后是Fiddler对手机抓包，抓包过程我就省略了。
抓包研究一会后，发现每首歌曲关键的地方是它对应的Hash值，通过这个Hash可以获取到诸多信息，比如评论，关联歌单信息等等。
2023-01-11 10:11:35
90KB
1