前言
在前几天,接到一个大学生的作业的爬虫单子,要求采用scrapy爬取链家官方网站新房的数据(3-5页即可,太多可能被封禁ip),网址:https://bj.fang.lianjia.com/loupan/,将楼盘名称、价格、平米数等(可以拓展)数据保存到一个json文件中。
为了50块钱,废话不说就是开干。虽说我不是计算机的,还是一个屌丝大三化工学生。
分析网页
那么今天教大家用Scarpy爬取链家网,爬取网页如下:http://bj.fang.lianjia.com/loupan/。
点击其中的一个来看看,https://bj.fang.lianjia.com/loupan/p_zjt
2021-11-28 16:25:58
1.26MB
c
cra
sc
1