前几天，杨超越编程大赛火了，大家都在报名参加，而我也是其中的一员。
在我们的项目中，我负责的是数据爬取这块，我主要是把对于杨超越 的每一条评论的相关信息。
数据格式：{“name”:评论人姓名,”comment_time”:评论时间,”comment_info”:评论内容,”comment_url”:评论人的主页}
以上就是我们需要的信息。
爬虫前的分析：
以上是杨超越的微博主页，这是我们首先需要获取到的内容。
因为我们需要等到这个主页内这些微博详情页 的链接，但是我们向下刷新，会发现微博的主页信息是ajax动态加载出来的，
这张图片就是我们向下刷新获取到 的新的链接，这个就是我们需要获取
2022-03-18 10:20:31
735KB
1
扫描器需要实现的功能思维导图
爬虫编写思路
首先需要开发一个爬虫用于收集网站的链接，爬虫需要记录已经爬取的链接和待爬取的链接，并且去重，用 Python 的set()就可以解决，大概流程是：
输入 URL
下载解析出 URL
URL 去重，判断是否为本站
加入到待爬列表
重复循环
SQL 判断思路
通过在 URL 后面加上AND %d=%d或者OR NOT (%d>%d)
%d后面的数字是随机可变的
然后搜索网页中特殊关键词，比如：
MySQL 中是 SQL syntax.*MySQL
Microsoft SQL Server 是 Warning.*mss
2022-03-17 16:44:17
104KB
1
利用python的scrapy框架爬取天气预报的信息，是python爬虫入门的好程序，如果还有小伙伴不会运行scrapy框架程序的，可以在下方评论区里说明。
2022-03-17 16:06:41
23KB
1
主要介绍了Python3爬虫爬取百姓网列表并保存为json功能,涉及Python基于request、lxml和json模块的Request请求与响应数据处理相关操作技巧,需要的朋友可以参考下
2022-03-17 13:06:56
78KB
1
Python抓包并解析json爬虫
在使用Python爬虫的时候，通过抓包url，打开url可能会遇见以下类似网址，打开后会出现类似这样的界面，无法继续进行爬虫：
例如：
需要爬取网页中第二页的数据时，点击F12:right_arrow:网络(Network):right_arrow:XHR，最好点击清除键，如下图：
通过点击“第二页”，会出现一个POST请求（有时会是GET请求），点击POST请求的url，（这里网址以POST请求为例），
如图：
然后复制参数代码
代码展示：
import requests
import json
url = 'https://m.ctrip.com/restapi/soa2/13444/json
2022-03-16 22:16:32
131KB
1
实例如下所示：
import urllib.request
import os, re,sys,time
try:
from StringIO import StringIO
except ImportError:
from io import StringIO
loca = re.compile(rion:\D+, ti)
#伪装成浏览器
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.240
2022-03-16 16:20:41
43KB
1
浏览器打开网页的过程就是爬虫获取数据的过程，两者是一样一样的。浏览器渲染的网页是丰富多彩的数据集合，而爬虫得到的是网页的源代码htm有时候，我们不能在网页的html代码里面找到想要的数据，但是浏览器打开的网页上面却有这些数据。这就是浏览器通过ajax技术异步加载（偷偷下载）了这些数据。
大家禁不住要问：那么该如何看到浏览器偷偷下载的那些数据呢？
答案就是谷歌Chrome浏览器的F12快捷键，也可以通过鼠标右键菜单“检查”（Inspect）打开Chrome自带的开发者工具，开发者工具会出现在浏览器网页的左侧或者是下面（可调整），它的样子就是这样的：
让我们简单了解一下它如何使用：
谷歌Chr
2022-03-16 09:50:32
60KB
1