上传者: 42138376
|
上传时间: 2021-11-20 14:50:14
|
文件大小: 5.38MB
|
文件类型: -
区号简介
地区代码是用于抓取国家统计局地址数据的爬虫程序,日常项目中很多地方都需要用到地址数据,目前全国地址数据由国家统计局发布,包含:省,市/州,区县,乡镇,村等5个等级数据,共计约70万条。
程序由Python编写,推荐使用Python3
配置与运行
安装依赖
pip3 install requests
pip3 install bs4
配置数据库表名
默认表称为areacode2020,如果需要改成其他表名,替换spiders.py文件中的areacode2020改成你的表名。
保存的文件
最后生成SQL插入语句保存的文件名和路径位于当前目录下的数据目录中,替代文件包为:areacode2020-all.sql,如需修改,位于31行:
saveFileName = "data/areacode2020-all.sql"
运行
python3 spiders.py
数据库表一级信息