简易python爬虫的开发,对国家统计局区划、城乡规划代码进行抓取。 所谓简易,一方面是因为是单线程爬虫,不涉及python的多进程、多线程编程,另一方面是因为不包括“URL管理器”的模块(负责存储已爬取、未爬取的url序列,控制爬虫不多爬、不漏爬),而是用了循环体的结构,依次爬取省、市、区、街道的页面。 爬虫主要分为4个模块: 1. 主控制器(spider_main.py),负责对其他模块进行调用,控制整个爬取过程 2. 下载器(html_downloader.py),负责请求指定的url,将响应结果返回主控制器 3. 解析器(html_parser.py),负责调用beautifulsoup4对请求到的html代码进行解析,拼装需要的数据集合 4. 数据库控制器(mysql_handler.py),负责执行数据库操作
2021-05-14 17:18:44 468KB python爬虫 区划 统计局 城乡规划
1
更新至2020年2月25日版本,目前最新最全的版本。 已经扫描过,缺少的均已补充。另外,广东省东莞市、中山市和海南的儋州市均无区级别信息,直接更新至居委。
2021-05-14 15:42:20 1.27MB 乡镇级别 区划代码 最新最全
1
江苏省乡镇级区划图,矢量地图。包含省级边界。网上收集资源,主要用于ArcGIS学习使用。文件格式为shp图层。区县级划分。
2021-05-14 08:46:11 5.38MB 乡镇级 矢量数据 shp 江苏
1
省市县县级
2021-05-13 18:05:26 49.18MB 行政区划
1
台湾省县市、乡镇、村里三级行政区划边界矢量数据shp文件,更新时间2021年3月,资源来自网络,比例尺1:5000,坐标系TWD97
2021-05-13 18:04:43 61.82MB arcgis、shp、台湾
1
2018年5级行政区划表 包含了 直辖市、省、市、县、乡镇五级对应关系数据,下载数据后,可以直接在access中打开,也可以通过 数据库软件进行打开,完整齐全。
2021-05-13 15:03:36 85.07MB 2018行政区划
1
重庆市行政区划(区县级别)shp数据,到区县级别,带区划名称,WGS84经纬度坐标,坐标精度待考证,可做研究用。
2021-05-13 14:21:31 577KB 重庆市行政区划
1
《中国行政区划代码》国家标准(GB/T2260)是行政区划代码,也称行政代码。 行政区划代码是国家行政机关的识别符号,由9位阿拉伯数字组成,相当于机关单位的身份号码。 按照国务院《行政区划管理条例》规定,行政区划代码由民政部门确定、发布。2020年最新发布行政区划四级街道/镇/乡。
1
该数据为中国九大农业区划shp格式数据,坐标为WGS84地理坐标,包括黄淮海平原区、东北平原区、长江中下游地区、北方干旱半干旱区、云贵高原区、青藏高原区、四川盆地及周边地区、华南区、黄土高原区
2021-05-13 09:03:35 17.21MB shp 中国九大农业区
2019全国行政区划到县一级别的行政边界shp格式文件.zip。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
2021-05-13 08:51:42 71.72MB 中国 县级 shp
1