33W条代理ip， 亲测有效（目前）， 不保证以后会一直生效， 一共33W条支持http,https,socks 欢迎来踩

代理ip池构建

MXProxyPool 动态代理ip池 架构图 说明：爬取模块将会爬取免费代理，免费代理的可用性低，如需获取高效的代理ip，请购买付费代理（）。 安装Python 3.5+ 安装Redis，并启动服务 # mac os安装 pip install redis # 启动redis redis-server /usr/local/etc/redis.conf 安装依赖库 cd MXProxyPool pip install -r requirements.txt 修改配置 settings.py存放了配置信息 运行代理池 cd MXProxyPool python3 run.py api接口 # 随机获取一个代理 http://localhost:8000/fetch 使用代理池示例 import requests from proxypool.settings import API_HOST

在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。 1、问题 代理IP从何而来？ 刚自学爬虫的时候没有代理IP就去西刺、快代理之类有免费代理的网站去爬，还是有个别代理能用。当然，如果你有更好的代理接口也可以自己接入。 　　免费代理的采集也很简单，无非就是：访问页面页面 —> 正则/xpath提取 —> 保存 如何保证代理质量？ 可以肯定免费的代理IP大部分都是不能用的，不然别人为什么还提

有时需要爬取一个目标网站过多数据的时候，python会在短时间内多次访问，如果目标网站有反扒措施，则IP地址有可能被禁止访问，造成程序失败，可以用IP池做IP代理，headers池伪装不同浏览器，从而更搞笑的爬取数据

一个文件抓取免费的代理IP,验证后并存入mysql数据库,另一个文件循环排除已失效的IP,可用来创建自己的代理IP池

使用动态IP池+cookie爬取豆瓣豆瓣影评数据

可用于爬虫时避免被封，通过在线获取ip，形成一个自动更新的代理ip库

一键建立属于自己的高匿代理IP池；爬虫再也不用担心IP地址被封了，国内高匿https、http代理获取。拥有一个属于自己的代理IP池，从此爬虫畅行无阻。

前言 众所周知代理 ip 因为配置简单而且廉价，经常用来作为反反爬虫的手段，但是稳定性一直是其诟病。筛选出优质的代理 ip 并不简单，即使付费购买的代理 ip 源，卖家也不敢保证 100% 可用；另外代理 ip 的生命周期也无法预知，可能上一秒能用，下一秒就扑街了。基于这些原因，会给使用代理 ip 的爬虫程序带来很多不稳定的因素。要排除代理 ip 的影响，通常的做法是建一个代理 ip 池，每次请求前来池子取一个 ip，用完之后归还，保证池子里的 ip 都是可用的。本文接下来就探讨一下，如何使用 Redis 构建代理 ip 池，实现自动更新，自动择优。 整体流程 由上图所示，左侧是形成了整个流