在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。 1、问题 代理IP从何而来？ 刚自学爬虫的时候没有代理IP就去西刺、快代理之类有免费代理的网站去爬，还是有个别代理能用。当然，如果你有更好的代理接口也可以自己接入。 　　免费代理的采集也很简单，无非就是：访问页面页面 —> 正则/xpath提取 —> 保存 如何保证代理质量？ 可以肯定免费的代理IP大部分都是不能用的，不然别人为什么还提

亚马逊测评的住宅IP 的重要性

一个文件抓取免费的代理IP,验证后并存入mysql数据库,另一个文件循环排除已失效的IP,可用来创建自己的代理IP池

免费代理ip 有些应该还可以用

服务器部分是HP搭建的 代理需要用那种扫出来的 不限制ip 访问的 才行类似大象 66 什么的类似这种只要不是自己搭建的那种就可用 只要买一天代理就可以了 以后就每天 更新数据库中的代理 数据库中的代理可用反复使用

里面包涵模块，和源码。。直接编译即可。全自动更换代理IP程序源码

可用于爬虫时避免被封，通过在线获取ip，形成一个自动更新的代理ip库

C# 开发

C#开发

获取代理ip，构建代理池