上传者: 54707168
|
上传时间: 2022-02-12 09:04:24
|
文件大小: 13KB
|
文件类型: ZIP
设置环境
conda create -n weibo python=3.10
conda activate weibo
pip install scrapy
配置爬虫
weibo/settings.py
并发请求数 CONCURRENT_REQUESTS
视频下载目录 FILES_STORE
weibo/configs.py
生成配置文件 cp weibo/configs.example.py weibo/configs.py
手动复制粘贴登录后的 cookies 至 COOKIES
目标主页 TARGETS
下载目录 STORE_PATH
运行
scrapy crawl image
scrapy crawl video