这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。

这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。

这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。

深入剖析海量数据场景下的用户行为分析方案

hbase海量数据的全量导入方法，大数据导入。

SPMF 是一个基于JAVA的开源数据挖掘平台，它实现了51个常用的数据挖掘算法。 这是我从官网上下载的压缩资源包，里面有多个经典的数据挖掘算法的实现源码。

西电海量数据管理课程作业

海量数据处理：十道面试题与十个海量数据处理方法总结

mysql

现在，来自物联网（IoT）传感器和具有全球定位系统（GPS）的智能设备的海量数据流正在涌入数据库系统，以进行进一步的处理和分析。 从新鲜和历史数据中实时检索的能力被证明是利用这些数据流在智能制造和智能城市中实际应用的关键推动力。 在本文中，我们提出了一种简单有效的分布式解决方案，以实现每秒数百万个元组插入和毫秒级的临时时间范围查询处理。 为此，我们提出了一种新的数据分区方案，该方案利用了工作负载特征并避免了昂贵的全局数据合并。 此外，为解决吞吐量瓶颈，我们采用基于模板的索引方法，以在传入元组的相对稳定分布上跳过不必要的索引结构调整。 为了并行化数据插入和查询处理，我们提出了一种有效的分派机制和有效的负载平衡策略，以工作负载感知的方式充分利用计算资源。 在合成和实际工作负载上，我们的解决方案始终都比最先进的开源系统好至少一个数量级。