33W条代理ip, 亲测有效(目前), 不保证以后会一直生效, 一共33W条支持http,https,socks 欢迎来踩
2023-05-05 23:18:31 22.53MB ip ip代理池 爬虫代理ip ip池
1
在公司做分布式深网爬虫,搭建了一套稳定的代理池服务,为上千个爬虫提供有效的代理,保证各个爬虫拿到的都是对应网站有效的代理IP,从而保证爬虫快速稳定的运行,当然在公司做的东西不能开源出来。不过呢,闲暇时间手痒,所以就想利用一些免费的资源搞一个简单的代理池服务。 1、问题 代理IP从何而来? 刚自学爬虫的时候没有代理IP就去西刺、快代理之类有免费代理的网站去爬,还是有个别代理能用。当然,如果你有更好的代理接口也可以自己接入。   免费代理的采集也很简单,无非就是:访问页面页面 —> 正则/xpath提取 —> 保存 如何保证代理质量? 可以肯定免费的代理IP大部分都是不能用的,不然别人为什么还提
2021-12-10 10:57:07 179KB api delete python
1