链家二手房爬虫工具
本工具分为爬虫端与客户端,爬虫端用于爬取链家页面二手房数据并存储于数据库,客户端用于分析展示数据库数据。
实现功能
爬虫端(Python)
二手登山爬取,可指定城市,地区,户型以及价格范围。
每日数据存储,数据库为sqlite3,数据库文件为./lianjia.db
已售的记录记录,当某套房源不再能被抓取取到时,转换套房源从交换表迁移到售出表,保留售出前历史数据。
客户端(Nodejs)
数据可视化展示,使用电子实现跨平台,展示内容包括包括id,小区,户型,面积,朝向,偏移,年份,建筑类型,总价,单价。出。
历史价格展示,预先设定的预期高度后可进入历史价格页面,展示每次抓取获取到的价格,逐步价格的变化用箭头标出。
卖出上市展示,展示已售出上市及售出日期(最后一次抓取日期)
目录结构
.
├── README.md
├── config
│ └── config.js
2023-11-13 15:09:46
4.95MB
1