城市58
58同城全国城市房屋信息爬虫,爬取内容包括:各行政区域小区的详情页数据,各小区内出租房和二手房的详情页数据。
抓取流程
进入XA小区列表页面,抓取各行政区编号,并初始化各行政区首页URL
遍历抓取各行政区所有页面的小区详情页URL
进入小区详情页,抓取小区名称,房价,地址等数据
进入小区二手房列表页面,翻页抓取所有二手房名称,房价,户型等数据
进入小区出租房列表页面,翻页抓取所有出租房详情页面URL
进入出租房详情页,抓取名称,房价,户型,地址,房屋类型等数据
第三方依赖
库
描述
扭曲的
(最新)18.9.0
Pywin32
注意:
Twisted 18.9.0以下版本可能需要安装Microsoft Visual C ++生成工具
Pywin32不可pip安装,必须去官网下载对应版本的.exe程序手动安装。
解释
为方便调试程序,Spider中设置仅抓取一个行政区域的第一
2021-06-01 15:02:51
26KB
Python
1