反网页爬虫系统.zip

简介： 一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫对中小型网站往往是毁灭性打击，特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强，造成的网站访问压力会非常大，会导致网站访问速度缓慢，甚至无法访问。本程序智能识别爬虫，防止爬虫对系统造成大的负载，也可用于访问请求的限流。 爬虫识别策略： 1.实时策略：访问者ip单位时间内访问次数，超过设定阀值的ip列入观察名单；观察名单中的访问着在下一单位时间内继续访问则要求其 填写验证码，若没有填写验证码而持续发起大量请求，则判定为爬虫，加入黑名单。 2.离线策略：引入访问统计系统，对访问记录进行持久化，按分、小时、天等维度进行分析，超过阀值的ip列入黑名单； 3.爬虫陷阱：设置爬虫陷阱，爬进陷阱的ip列入黑名单