我们的需求是利用xpath爬取链家租房房源数据,并将数据通过pandas保存到Excel文件当中
下面我们看一下链家官网的房源信息(以北京为例)
如图所示,我们通过筛选得到北京租房信息
那么我们需要将房屋所在地区、小区名、户型、面积、朝向、价格等信息通过爬虫提取出来。
思路步骤:
1.通过翻阅我们查看到总共页数一共是100页,那么我们需要通过format方法获取到这100个url地址列表url_list;
2.遍历url列表,分别发送请求,获得响应html_str;
3.利用xpath得到element对象,对element对象采用xpath方法得到每个房屋element组成的列表det_d
2021-06-20 21:44:59
233KB
AND
AS
c
1