python制作，pyinstaller编译，源代码看我主页

python爬虫爬取代理ip

ProxyPool.zip

1、文章：https://kunnan.blog.csdn.net/article/details/115690756 2、应用场景： 2.1、 自定义请求头的HTTPHeaderField 2.2、针对NSURLSessionConfiguration设置代理IP和端口，让一些特殊的请求走自定义的隧道IP和端口 2.3、对网络请求的数据进行报文级别的加密：使用NSURLProtocol来自动监听HTTP请求并加密解密。 通过[NSURLProtocol registerClass: [NetworkInject class]];注入了自定义的NSURLProtocol类 3、原理：利用NSURLProtocol 拦截 HTTP 请求

1、原文链接：https://blog.csdn.net/z929118967/article/details/115690756 2、原理:利用NSURLProtocol 拦截 HTTP 请求，NSURLProtocol 只能拦截 UIURLConnection、NSURLSession 和 UIWebView 中的请求;对于 WKWebView 中发出的网络请求也无能为力`，如果真的要拦截来自 WKWebView 中的请求，还是需要实现 WKWebView 对应的 WKNavigationDelegate，并在代理方法中获取请求。 应用场景： 1、 自定义请求头的HTTPHeaderField 2、针对NSURLSessionConfiguration设置代理IP和端口，让一些特殊的请求走自定义的隧道IP和端口 ———————————————— 版权声明：本文为CSDN博主「#公众号：iOS逆向」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/z929118967/article/details/115690756

一键建立属于自己的高匿代理IP池；爬虫再也不用担心IP地址被封了，国内高匿https、http代理获取。拥有一个属于自己的代理IP池，从此爬虫畅行无阻。

Python ip 代理池爬取工具，包含各大代理网站爬取脚本，实时获取最新免费代理IP

芝麻HTTP代理C语言代理用法.zip

前言 众所周知代理 ip 因为配置简单而且廉价，经常用来作为反反爬虫的手段，但是稳定性一直是其诟病。筛选出优质的代理 ip 并不简单，即使付费购买的代理 ip 源，卖家也不敢保证 100% 可用；另外代理 ip 的生命周期也无法预知，可能上一秒能用，下一秒就扑街了。基于这些原因，会给使用代理 ip 的爬虫程序带来很多不稳定的因素。要排除代理 ip 的影响，通常的做法是建一个代理 ip 池，每次请求前来池子取一个 ip，用完之后归还，保证池子里的 ip 都是可用的。本文接下来就探讨一下，如何使用 Redis 构建代理 ip 池，实现自动更新，自动择优。 整体流程 由上图所示，左侧是形成了整个流

包括UA伪装、代理网站的爬取、代理ip的分析检测、Python与MySQL数据库的交互、爬取内容的持久化存储。运行环境：Python 3.8.6 开发环境：PyCharm 2019.2.4