2020年3月14日
任务介绍
此次爬虫任务为“爬取新房销售信息”,获取楼盘名、地址、价格的简单信息,我选取的城市是“赣州”,尝试过安居客、房天下等几个房屋信息网站,安居客有反爬措施,由于是新手比较怂就果断避开了,从信息量来看房天下-赣州符合我的需要,且对新手比较友好,所以选择房天下为对象进行爬虫。
由于信息均为文本,选择保存为csv格式,便于后续读取和分析。
环境准备
我用的是Anaconda3的环境和PyCharm这种IDE工具,首先需要装载此次任务需要用到的函数库:Requests、bs4(BeautifulSoup4)、csv来实现以下功能:
爬取网页内容;
快速定位并获取想要的文本内
2021-12-27 18:01:38
731KB
c
csv
fu
1