上传者: pan_kai
|
上传时间: 2021-12-03 11:59:16
|
文件大小: 9KB
|
文件类型: -
抓取中小型网站的所有图片,配置文档在config下,domain_name:域名,request_site:网址,request_url:从网站的哪个页面开始,accept_type: 图片类型,save_path:图片保存路径,partition_name:图片保存目录名称前缀,dir_file_limit: 每个目录容许多少个文件,serialize_img_size已读取了多少个图片地址写进到cache目录accompImg文件当中、下次继续爬的时候会忽略这些地址,serialize_url_size:与serialize_url_size一样、已读取多少个地址写进到cache目录overURL文件下