housePrice
使用scrapy,selenium,echarts和pyecharts制作成都房价地图
scrapy爬虫:爬取成都链家的楼盘信息
运行方法:第一种:在terminal下,进入scrapy.cfg所在的根目录,输入"scrapy crawl lianjia"开始爬取。目前我们已经在pipelines.py增加了保存json文件的功能(为了生成json格式,供js代码使用),所以直接用第一种方法即可。
第二种:如果需要将爬取结构生成csv文件,则输入"scrapy crawl lianjia -o lianjia.csv";运行之后会在根目录生成lianjia.csv文件,可用Excel打开查看(如为乱码可自行调整Excel编码为utf-8)。
参考文档:
read_csv.py:读取爬虫生成的csv文件
pyecharts地图程序:生成简易的成都楼盘ASP地图
使用方法
1