这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-22 18:07:23
42.31MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-22 18:04:07
42.31MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-22 18:00:56
42.31MB
1
针对用电数据量大、用电数据挖掘效率低等问题,采用理论分析和实验的方法,进行用电数据并行分析构架的研究,研究了Canopy和K-means两种典型的聚类算法,提出一种新的聚类思路,使用Canopy先对用电数据进行粗略处理,得到聚类个数和聚类中心,再用K-means精确聚类,既利用了K-means算法简单、收敛速度快的优势,又使其不容易陷入局部最优.为达到处理海量数据的目的,把提出的算法部署到MapReduce框架上进行实验.研究结果表明:提出的算法在海量用电数据的处理方面高效可行,并且具有良好的加速比.
2021-04-11 15:48:23
572KB
1