FindSonngs
前些天偶然听到了某首歌， 发现挺好听的，然后打开歌曲评论，发现评论数竟然高达80多万，紧接着我又看了下歌曲的发行日期，17年的，看到这就不能忍了，像我这种音乐达人（自恋一会大笑）怎么能不知道这种好歌呢！ ！ ！
然后刚好最近考完试，于是决定写个类似的爬虫程序来爬取高评论数歌曲，好了，废话不多说，下面开始介绍下程序吧。
主要功能是：以某首歌为入口，爬取歌曲关联歌单，然后分别遍历对应歌单中歌曲，同样也可再提取对应歌曲的歌单，往复进行。最后关键的是能够提取到每首歌曲的评论以及数目，不过这里的主要目的是评论数目大于15万的则记录下来。
针对的是手机酷狗app（为啥不是别的我就懒得说了，没有啥原因），然后是Fiddler对手机抓包，抓包过程我就省略了。
抓包研究一会后，发现每首歌曲关键的地方是它对应的Hash值，通过这个Hash可以获取到诸多信息，比如评论，关联歌单信息等等。
2023-01-11 10:11:35
90KB
1
从京东手机入口，爬取京东手机类商品的名称和价格，价格属于动态爬虫，可以输出到控制台和磁盘文件，文件为压缩包内的Mypageprocessor
2022-12-29 11:54:39
5.59MB
1
使用request、xpath爬取网址
》爬取该网址：猫眼电影之经典影片
》爬取内容，如图所示：
主要爬取：电影类型、主演、时间、片名和评分
》代码如下：
import requests
from lxml import etree
url = https://maoyan.com/films?showType=3
headers = {
Cookie: _lxsdk_s=17188754dc5-9bf-d80-9e6||9,
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/53
2022-12-28 10:09:45
121KB
1
主要介绍了Python使用requests模块爬取百度翻译,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2022-12-24 18:05:10
231KB
1
使用python爬虫，爬取安居客网站新盘和二手房商品信息，并按类别，地区存储在文件夹中。从主网站一直到房产详细页面爬取信息。
2022-12-23 00:31:57
3KB
1