33W条代理ip， 亲测有效（目前）， 不保证以后会一直生效， 一共33W条支持http,https,socks 欢迎来踩

一、为什么要搭建爬虫代理池 在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制，即在某一时间段内，当某个ip的访问次数达到一定的阀值时，该ip就会被拉黑、在一段时间内禁止访问。 应对的方法有两种： 1. 降低爬虫的爬取频率，避免IP被限制访问，缺点显而易见：会大大降低爬取的效率。 2. 搭建一个IP代理池，使用不同的IP轮流进行爬取。 二、搭建思路 1、从代理网站(如：西刺代理、快代理、云代理、无忧代理)爬取代理IP； 2、验证代理IP的可用性（使用代理IP去请求指定URL，根据响应验证代理IP是否生效）； 3、将可用的代理IP保存到数据库； 在《Python爬虫代理池搭建》一文中我们

仿的 诺离 大哥的 极速代理. 诺离 大哥的 极速代理是不错, 但是 那个 取时间戳 的步骤太麻烦了. 而且有3毫秒的延迟.. 而且不是正则 很不灵活. 鱼刺的爱偷懒系列有广告不喜欢. Interlock 是原子递增 用自己的模块改下 或者 变量 = 变量 +1

ip代理池，使用步骤于python编辑器中查看 README.md，需要安装 requirements.txt 依赖包集合，及其他所需库

遇到反爬虫策略时ip代理池的获取和随机生成是一个很好的应对策略，该代码已经保存为相应的模块，在写爬虫程序是可以知己import用上

python的requests包实现ip代理池(仅作为学习实验使用)

Python ip 代理池爬取工具，包含各大代理网站爬取脚本，实时获取最新免费代理IP