随着微博用户的迅猛增长，越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式。针对如何对微博数据进行有效合理的采集，提出了基于微博API的分布式抓取技术，通过模拟微博登录自动授权，合理控制API的调用频次，结合任务分配控制器高效地获取微博数据。该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制，避免了数据的重复爬取和重复存储，提高了系统的性能。本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点。新浪微博数据爬取实例验证了该技术的可行性。

爬取微信公众号的文章 不用配置任何环境， 可以直接运行 代码地址，请移步：http://blog.csdn.net/qiqiyingse/article/details/70160059

sqliv 大型SQL注入扫描器通过Bing，Google或YahooSQL注入dork提供多域扫描功能，通过提供特定域（具有爬网）进行反向域扫描，SQLi扫描和域信息检查均在多处理中完成，因此脚本在以下情况下超快扫描许多url快速教程和屏幕截图显示在底部的项目贡献提示中

爬取汽车之间某关键词相关评论，输出至excel文件中。输出内容为评论发布时间以及评论的内容，可以用来做某关键词相关信息的统计

for img_link in img_link_list: filename = '{}{}_{}.jpg'.format(directory, word, self.i) self.save_image(img_link,filename) self.i += 1 # 每页只能下载60张图片，这里可以直接跳出，或者按需要的数量更改 if self.i == 180: print(self.i) return # 也可以改成翻页下载的形式： # self.url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word={}{}' # 格式化地址：url = self.url.format(word_parse,'&pn=40') #这里的pn=20

全网最细，作者原创 本资源作者进行了为期一个月的闭关写代码，耗费了大量心血，希望对各位同僚有所帮助 包括 1. 通过高德地图对石家庄本地数据，如各类奶茶店、学校、写字楼、地铁站、火车站、公交车站数据的爬取 2. 对数据进行清洗分类 3. 对地区进行网格划分 4. 对网格内各类数据进行统计形成训练数据集 5. 对训练数据集采用严格的机器学习流程进行清洗 6. 基于SVM模型，对地区内网格进行预测 7. 在地图上可视化输出结果 如有问题，各位可以私信我，我将耐心解答 欢迎大家持续关注我的博客！

该项目是用Scrapy对豆瓣读书的Top250排行榜进行爬取，我们先是对首页发送请求，得到详情页地址，然后向详情页发送请求，在从详情页中解析书名，作者，出版年月，页数，价格，出版方，ISBN，出版社，丛书，评分，副标题，译者，原作名，装帧等字段，最后用·MySQl进行存储

【计算机课程设计】python 招聘（数据爬取+可视化），使用前请务必查看说明文档

Description 将知乎上特定的内容（如某用户答案，某收藏夹答案，某专栏文章）爬下来，保存为html格式的文件，并同时生成epub文件，以离线查看。 TODO： 1. 登陆用户（可能需要解决识别验证码的问题） 2. 按照用户ID爬取答案 * 爬取该用户的所有答案 * 爬取该用户某个时间段的答案 ... 3. 按照收藏夹ID爬取答案 4. 按照专栏爬取答案 5. 根据问题ID爬取答案， * 爬取所有答案 * 爬取赞同数前十的答案 * 收集赞同数超过10K的答案 ... 6. 将答案生成epub电子书（实现混排，即上述的四点可以随机组合在一起） 7. 图形界面

可以使用python实现基本的图片爬取和保存功能，用户可以根据自己需求自定义要爬取的链接，但是相应的也要根据网页结果更改部分代码，代码清晰，思路明确，适合学习python爬虫爬取图片参考。