进入智联招聘官网,在搜索界面输入‘数据分析师’,界面跳转,按F12查看网页源码,点击network
选中XHR,然后刷新网页
可以看到一些Ajax请求, 找到画红线的XHR文件,点击可以看到网页的一些信息
在Header中有Request URL,我们需要通过找寻Request URL的特点来构造这个请求网址,
点击Preview,可以看到我们所需要的信息就存在result中,这信息基本是json格式,有些是列表;
下面我们通过Python爬虫来爬取上面的信息;
代码如下:
import requests
from urllib.parse import urlencode
im
1