抓取中小型网站的所有图片,配置文档在config下,domain_name:域名,request_site:网址,request_url:从网站的哪个页面开始,accept_type: 图片类型,save_path:图片保存路径,partition_name:图片保存目录名称前缀,dir_file_limit: 每个目录容许多少个文件,serialize_img_size已读取了多少个图片地址写进到cache目录accompImg文件当中、下次继续爬的时候会忽略这些地址,serialize_url_size:与serialize_url_size一样、已读取多少个地址写进到cache目录overURL文件下
2021-12-03 11:59:16
9KB
图片
爬虫
1