天眼查、企查查
公司信息爬虫
使用说明
设置数据源
MysqlConfig = {
'develop': {
'host': '192.168.1.103',
'port': 3306,
'db': 'enterprise',
'username': 'root',
'password': 'root@123'
}
}
执行db/data.sql生成数据结构
配置IP代理config/settings
# 全局代理控制
GLOBAL_PROXY = True
PROXY_POOL_URL = "http://localhost:5010"
设置爬取关键字qichacha&tianyancha
keys = ['Google'] # 设置爬取列表
crawler.load_keys(keys)
c
1