不知不觉，玩爬虫玩了一个多月了。
我愈发觉得，爬虫其实并不是什么特别高深的技术，它的价值不在于你使用了什么特别牛的框架，用了多么了不起的技术，它不需要。它只是以一种自动化搜集数据的小工具，能够获取到想要的数据，就是它最大的价值。
我的爬虫课老师也常跟我们强调，学习爬虫最重要的，不是学习里面的技术，因为前端技术在不断的发展，爬虫的技术便会随着改变。学习爬虫最重要的是，学习它的原理，万变不离其宗。
爬虫说白了是为了解决需要，方便生活的。如果能够在日常生活中，想到并应用爬虫去解决实际的问题，那么爬虫的真正意义也久发挥出来了。
这是些闲话啦，有感而发而已。
最近有点片荒，不知道该看什么电影，而且有些电
2022-03-03 17:00:44
1.24MB
1
前言
qq music上的音乐还是不少的，有些时候想要下载好听的音乐，但有每次在网页下载都是烦人的登录什么的。于是，来了个qqmusic的爬虫。至少我觉得for循环爬虫，最核心的应该就是找到待爬元素所在url吧。下面开始找吧（讲的不对不要笑我）
实现如下
#寻找url：
这个url可不想其他的网站那么好找。把我给累得不轻，关键是数据多，从那么多数据里面挑出有用的数据，最后组合为music真正的music。昨天做的时候整理的几个中间url：
#url1：https://c.y.qq.com/soso/fcgi-bin/client_search_cp?&lossless=0&flag_qc=
2022-03-03 09:28:13
210KB
1
注意：登录的是http://m/weibo.cn，界面示例如下
关于UId
import random
import urllib.request
import json
import re
import requests
import time
id=(input(请输入要抓的微博uid:))\nna='a'
iplist=['112.228.161.57:8118','125.126.164.21:34592','122.72.18.35:80','163.125.151.124:9999','114.250.25.19:80']
proxy_addr=163.125.151.12
2022-03-02 20:55:32
727KB
1
利用sorted()函数进行人气值排名，按照关键词k进行检索,通常是将人气值利用正则表达式将数字输出出来，通常取正则表达式输出列表的0号位置置换成浮点型即可，但是随着人气值超过1000万，如1200万人气，在正则表达式输出时会是‘1,200万’，但是此时转换成浮点数，只会输出‘1’，不能识别‘，’后边的‘200万’，采用新方法if()函数使其合理化。
2022-02-07 14:45:21
3KB
1
主要介绍了如何用python爬取抖音视频列表信息，本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
2022-02-02 19:51:24
331KB
1