这是基于python爬虫技术编程写的全球外贸数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
2024-06-05 10:14:47
42.1MB
1
企查查企业信息爬虫 ，企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。
每天定时抓取
自动刷新token
省份、市的所有代码
token自动刷新
根据地址自动将省份、市、区县进行分割
所有数据存到redis里面
可以自动登录，账号需要独立
getnewdata.py 项目主入口
other放城市和省份代码
common公用方法
getmoredata.py 获取更多的企业数据，包括经营范围、联系方式等
getnewdata.py 获取每日新增企业数据
摒弃以前所用方法，采用新的思路
新增将数据写入文本
本代码只做学习交流，请勿用于非法渠道！！！
2024-05-21 20:32:12
15KB
1
大数据时代的工商数据分析 作者：窦冬梅 来源：《环球市场信息导报》2016年第24期 随着科技的发展，世界已经进入了大数据时代，大数据时代的到来表明当前的 时代数据越发的复杂多样，需要进行一些特殊管理。管理的方面便包括工商数据的管理 ，此文将详细介绍大数据时代下工商数据的管理和分析。 之所以要引起对工商数据分析的关注，是因为近几年来，消费者和商家出现了 多重的消费矛盾，一些数据也较为直观地表现出了工商管理行业市场问题。为了及时改 善这些问题，解决矛盾，首先要做的便是对工商数据进行分析，从分析中选择最科学的 解决之道。如何进行科学分析，应该采用哪些辅助工具，本文会详细的描述和分析。 大数据 大数据的作用和意义。现代社会是一个高速运转、更新速度快并且以科技为主 要竞争力的时代，科技和信息的运用必不可少。大数据作为高科技的产物，有着巨大的 社会潜能。中国阿里巴巴集团创始人马云曾在一次演讲中谈到：未来的时代将不是IT时 代，而是DT时代，DT是DataTechnology的缩写。阿里巴巴集团作为中国的领先集团，可 见他们对大数据的重视。大数据下进行工商数据分析对企业的具体价值如下：工商企业 能
2022-06-21 22:03:28
31KB
云探拓客是云探中国旗下一款利用AI聚合搜索技术，通过对网络开放工商数据信息进行搜集整理，输出可用于业务开发拓展的辅助数据；本软件数据更新及时准确稳定，对于代账服务、人员招聘、办公室装修、网站建设、域名注册及备案、服务器购买、网络推广等行业均具有较高的匹配性，通过对数据的整理筛选，可便捷性用于辅助开发新客户。
2021-09-01 19:08:46
1.26MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-26 19:06:08
42.1MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-26 18:05:34
42.1MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-26 13:05:53
42.1MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-26 13:05:52
42.1MB
1