MXProxyPool
动态代理ip池
架构图
说明:爬取模块将会爬取免费代理,免费代理的可用性低,如需获取高效的代理ip,请购买付费代理()。
安装Python 3.5+
安装Redis,并启动服务
# mac os安装
pip install redis
# 启动redis
redis-server /usr/local/etc/redis.conf
安装依赖库
cd MXProxyPool
pip install -r requirements.txt
修改配置
settings.py存放了配置信息
运行代理池
cd MXProxyPool
python3 run.py
api接口
# 随机获取一个代理
http://localhost:8000/fetch
使用代理池示例
import requests
from proxypool.settings import API_HOST
2022-03-12 02:04:57
240KB
Python
1