企查查企业信息爬虫 ,企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。 每天定时抓取 自动刷新token 省份、市的所有代码 token自动刷新 根据地址自动将省份、市、区县进行分割 所有数据存到redis里面 可以自动登录,账号需要独立 getnewdata.py 项目主入口 other放城市和省份代码 common公用方法 getmoredata.py 获取更多的企业数据,包括经营范围、联系方式等 getnewdata.py 获取每日新增企业数据 摒弃以前所用方法,采用新的思路 新增将数据写入文本 本代码只做学习交流,请勿用于非法渠道!!!
2024-05-21 20:32:12 15KB 爬虫
1
1、python爬取企查查公司信息 2、添加应对反爬的设置 3、开箱即用,有示例数据文件 4、windows版本 5、需要登录或者人工验证 6、采用selenium模块+chromedriver驱动
2022-11-23 16:26:53 13KB selenium 爬虫 企查查 chromedriver
1
天眼查、企查查 公司信息爬虫 使用说明 设置数据源 MysqlConfig = { 'develop': { 'host': '192.168.1.103', 'port': 3306, 'db': 'enterprise', 'username': 'root', 'password': 'root@123' } } 执行db/data.sql生成数据结构 配置IP代理config/settings # 全局代理控制 GLOBAL_PROXY = True PROXY_POOL_URL = "http://localhost:5010" 设置爬取关键字qichacha&tianyancha keys = ['Google'] # 设置爬取列表 crawler.load_keys(keys) c
2021-08-27 09:54:55 17KB proxy python3 ua qichacha
1
通过关键词的检索,爬取企查查网站上失信人信息。测试环境:python2.7,windows7操作系统;
2021-08-11 16:20:53 4KB 爬虫,企查查
1