天眼查、企查查
公司信息爬虫
使用说明
设置数据源
MysqlConfig = {
'develop': {
'host': '192.168.1.103',
'port': 3306,
'db': 'enterprise',
'username': 'root',
'password': 'root@123'
}
}
执行db/data.sql生成数据结构
配置IP代理config/settings
# 全局代理控制
GLOBAL_PROXY = True
PROXY_POOL_URL = "http://localhost:5010"
设置爬取关键字qichacha&tianyancha
keys = ['Google'] # 设置爬取列表
crawler.load_keys(keys)
c
2021-08-27 09:54:55
17KB
1
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问;必须将deckodriver放在相同路径 记住：自己输入账号和密码！每次输入之后都要回车！
2021-08-21 11:41:54
2.96MB
1
20210816-招商证券-中科星图-688568-中国天眼感知世界，数字地球行业领军者迎风起航.pdf
2021-08-17 09:05:36
1.64MB
【天眼查】法律诉讼数据-碧桂园生活服务集团股份有限公司无为分公司.xlsx
2021-08-06 17:04:03
81KB
1
第一篇：企查查搜索列表基本信息（天眼查类似）
目标：批量抓取企查查上企业的任何信息，包括企业名称、电话、地址、邮箱、工商信息、股东信息、对外投资、动产抵押、税务评级、知识产权（商标信息、专利信息、软件著作权、网站备案）等等，可根据省份城市、行业分类、手机号码、纳税登记、融资信息等条件进行筛选。
环境：Windows 7 + Python3.6 + Pycharm2019
爬虫步骤：链接分析、请求链接、数据获取、数据存储。
1、链接分析
分析工具：Chrome Network分析工具
企查查链接：https://www.qcc.com/
企查查搜索列表链接分析
未登录搜索结果，电话显示不全，点击
2021-07-30 11:50:31
137KB
1
某查2千万工商数据中提取出来的266万不重复的2-3字姓名大全，已清洗，但不保证清洗彻底，按照a-z字典序排序的，测试了很多常见姓名，都是包含的；
2021-06-29 15:32:34
8.45MB
1