本项目主要分为两个部分：爬取数据与处理数据
项目资源中包含了上述两个部分的源代码文件，其次包含了可视化中的词云图的背景图，以及停用词表、爬取的url集合、爬取的数据集合和最终生成的直方图集合与词云图集合
其中city文件为猎聘网城市代码与城市名称的对应关系
2023-01-30 14:51:07
1.36MB
1
之前爬取都是网页上的数据，今天要来说一下怎么借助Fidder来爬取手机APP上的数据。
一、环境配置
1、Fidder的安装和配置
没有安装Fidder软件的可以进入 这个网址 下载，然后就是傻瓜式的安装，安装步骤很简单。在安装完成后，打开软件，进行如下设置：
这里使用默认的8888端口就好了，如果要修改的话，要避免和其他端口冲突。
2、手机的配置
首先打开cmd，输入ipconfig查看IP地址，记录下这个IP地址：
想要使用FIdder进行手机抓包，要让手机和PC处在同一个内网中，方法就是连接同一个无线网络。然后打开手机，进入Wi-FI设置修改代理为手动代理，再把上面的IP地址和8
2023-01-16 14:43:29
691KB
1
python_toutiao
小白用python爬取今日头条列表以及今日头条详情
详情分析请参见
2023-01-11 15:46:04
3KB
1
FindSonngs
前些天偶然听到了某首歌， 发现挺好听的，然后打开歌曲评论，发现评论数竟然高达80多万，紧接着我又看了下歌曲的发行日期，17年的，看到这就不能忍了，像我这种音乐达人（自恋一会大笑）怎么能不知道这种好歌呢！ ！ ！
然后刚好最近考完试，于是决定写个类似的爬虫程序来爬取高评论数歌曲，好了，废话不多说，下面开始介绍下程序吧。
主要功能是：以某首歌为入口，爬取歌曲关联歌单，然后分别遍历对应歌单中歌曲，同样也可再提取对应歌曲的歌单，往复进行。最后关键的是能够提取到每首歌曲的评论以及数目，不过这里的主要目的是评论数目大于15万的则记录下来。
针对的是手机酷狗app（为啥不是别的我就懒得说了，没有啥原因），然后是Fiddler对手机抓包，抓包过程我就省略了。
抓包研究一会后，发现每首歌曲关键的地方是它对应的Hash值，通过这个Hash可以获取到诸多信息，比如评论，关联歌单信息等等。
2023-01-11 10:11:35
90KB
1
从京东手机入口，爬取京东手机类商品的名称和价格，价格属于动态爬虫，可以输出到控制台和磁盘文件，文件为压缩包内的Mypageprocessor
2022-12-29 11:54:39
5.59MB
1