scrapy-zhihu-user:知乎用户爬虫,使用scrapy_redis,scrapyd,gerapy等-源码

上传者: 42144199 | 上传时间: 2021-09-18 15:31:51 | 文件大小: 15KB | 文件类型: ZIP
scrapy-zhihu-user 介绍 毕业设计练习项目,在Python3环境下,使用scrapy借助scrapyd,scrapy_redis,gerapy等实现分布式爬取知乎用户信息,然后将信息存储在mongodb中。 在本地Ubuntu16.04和阿里云Ubuntu14.04测试通过。 使用的库&&反爬 整体框架为scrapy,官网和使用方法见. 分布式和存储去重使用scrapy_redis. 部署使用和,scrapyd安装和使用办法查看,gerapy是免去命令行操作远程部署和查看,是崔庆才大大的作品,本项目也是基于他的视频来做的,gerapy介绍和使用方法在这里. 防反爬措施1:动态修改useragent(使用fake_useragent库),安装和使用看这里 防反爬措施2:使用IPProxyPool辅助爬取的免费代理,借助random动态更换IP(可使用率极低,推荐收费代理)。安

文件下载

资源详情

[{"title":"( 15 个子文件 15KB ) scrapy-zhihu-user:知乎用户爬虫,使用scrapy_redis,scrapyd,gerapy等-源码","children":[{"title":"scrapy-zhihu-user-master","children":[{"title":"zhihuuser","children":[{"title":"settings.py <span style='color:#111;'> 3.88KB </span>","children":null,"spread":false},{"title":"pipelines.py <span style='color:#111;'> 1.34KB </span>","children":null,"spread":false},{"title":"middlewares.py <span style='color:#111;'> 4.14KB </span>","children":null,"spread":false},{"title":"__init__.py <span style='color:#111;'> 0B </span>","children":null,"spread":false},{"title":"items.py <span style='color:#111;'> 2.75KB </span>","children":null,"spread":false},{"title":"__pycache__","children":[{"title":"__init__.cpython-35.pyc <span style='color:#111;'> 149B </span>","children":null,"spread":false},{"title":"pipelines.cpython-35.pyc <span style='color:#111;'> 1.34KB </span>","children":null,"spread":false},{"title":"items.cpython-35.pyc <span style='color:#111;'> 1.81KB </span>","children":null,"spread":false},{"title":"settings.cpython-35.pyc <span style='color:#111;'> 601B </span>","children":null,"spread":false}],"spread":true},{"title":"spiders","children":[{"title":"zhihu.py <span style='color:#111;'> 3.51KB </span>","children":null,"spread":false},{"title":"__init__.py <span style='color:#111;'> 161B </span>","children":null,"spread":false},{"title":"__pycache__","children":[{"title":"__init__.cpython-35.pyc <span style='color:#111;'> 157B </span>","children":null,"spread":false},{"title":"zhihu.cpython-35.pyc <span style='color:#111;'> 2.30KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true},{"title":"scrapy.cfg <span style='color:#111;'> 203B </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 2.54KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明