Unsplash 下载器
网站提供了一组图片,可供免费下载和以任何方式使用。 每天发布 10 张新图像。
我想要一种将它们全部下载的方法,所以我编写了一个多线程下载器,它可以解析主页上的图像列表,对无限滚动列表进行分页,并将图像列表添加到队列中以进行下载。
您可以以任何您认为合适的方式调整解析器。 我使用 PyQuery,因为它是一个简单的 DOM 解析器。
安装
克隆这个 repo 或下载最新的 Zip 文件
运行virtualenv . 在您将脚本下载到的目录中
运行source bin/activate进入环境
运行pip install -r requirements.txt
如果由于 Mac 或 Linux 机器上的lxml问题而在安装 PyQuery 时遇到问题,请尝试运行以下命令:
STATIC_DEPS=true pip install pyquery
然后重试第
2021-07-12 14:05:01
2KB
Python
1