这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-21 14:01:31
42.31MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-21 13:05:50
42.31MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-21 13:03:19
42.31MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-21 13:01:38
42.31MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-21 13:00:58
42.31MB
1
简介： 一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫对中小型网站往往是毁灭性打击，特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强，造成的网站访问压力会非常大，会导致网站访问速度缓慢，甚至无法访问。本程序智能识别爬虫，防止爬虫对系统造成大的负载，也可用于访问请求的限流。
爬虫识别策略： 1.实时策略：访问者ip单位时间内访问次数，超过设定阀值的ip列入观察名单；观察名单中的访问着在下一单位时间内继续访问则要求其 填写验证码，若没有填写验证码而持续发起大量请求，则判定为爬虫，加入黑名单。 2.离线策略：引入访问统计系统，对访问记录进行持久化，按分、小时、天等维度进行分析，超过阀值的ip列入黑名单； 3.爬虫陷阱：设置爬虫陷阱，爬进陷阱的ip列入黑名单
2021-03-25 11:10:48
52KB
spider.py:
包括股票名的爬取和网页的爬取
stoke_h.py:
存入Excel文件
stoke_sql.py:
存入数据库
plot.py:
制图及存储图像
stoke_gui.py:
GUI界面
运行：
python stoke_gui.py
2020-01-03 11:40:15
4.98MB
1
系统技术架构：
1 需要环境操作系统：centos7.2版本
2 python3爬虫端 （python3.6.4版本）
3 redis代理池 （redis4.0.2版本）
4 mongdb数据库 （mongdb3.6.4版本）
5 redis词库缓存池
6 默认开通10个进程
2019-12-21 21:01:25
18.4MB
1