这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术,可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里,可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-26 14:01:51 42.1MB saas python 爬虫 海量数据分析
1
基于Hadoop的海量数据分析系统设计吗,完整版学位论文。
2019-12-21 19:57:04 5.68MB Hadoop 大数据 学位论文
1