Scrapy是python下的一个爬虫框架，挺不错的！
官网：http://scrapy.org/
压缩包中文件列表：
【1】. Scrapy源码包：Scrapy-0.10.2.tar.gz
【2】. Scrapy documentation release 0.12.0
【3】. Scrapy轻松定制网络爬虫
2021-11-24 21:36:14
1.81MB
1
Item Pipeline介绍
Item对象是一个简单的容器，用于收集抓取到的数据，其提供了类似于字典（dictionary-like）的API，并具有用于声明可用字段的简单语法。
Scrapy的Item Pipeline（项目管道）是用于处理数据的组件。
当Spider将收集到的数据封装为Item后，将会被传递到Item Pipeline（项目管道）组件中等待进一步处理。Scrapy犹如一个爬虫流水线，Item Pipeline是流水线的最后一道工序，但它是可选的，默认关闭，使用时需要将它激活。如果需要，可以定义多个Item Pipeline组件，数据会依次访问每个组件，执行相应的数据处理功
2021-11-23 18:49:29
2.16MB
1
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
2021-10-31 23:49:53
112KB
1
本文实例讲述了python爬虫框架scrapy实现模拟登录操作。分享给大家供大家参考，具体如下：
一、背景：
初来乍到的pythoner，刚开始的时候觉得所有的网站无非就是分析HTML、json数据，但是忽略了很多的一个问题，有很多的网站为了反爬虫，除了需要高可用代理IP地址池外，还需要登录。例如知乎，很多信息都是需要登录以后才能爬取，但是频繁登录后就会出现验证码（有些网站直接就让你输入验证码），这就坑了，毕竟运维同学很辛苦，该反的还得反，那我们怎么办呢？这不说验证码的事儿，你可以自己手动输入验证，或者直接用云打码平台，这里我们介绍一个scrapy的登录用法。
测试登录地址：http://e
2021-10-04 11:36:19
191KB
1
网络收藏家
WebCollector是基于Java的开源Web爬网程序框架。它提供了一些用于爬网的简单界面，您可以在不到5分钟的时间内设置多线程Web爬网程序。
除了通用的搜寻器框架外，WebCollector还集成了CEPF ，这是Wu等人提出的一种精心设计的最新Web内容提取算法：
吴国庆，胡建，李力，徐志，刘PC，胡XG，吴XD。 通过标签路径特征融合的在线Web新闻提取。 阮剑学报/软件学报，2016,27（3）：714-735。
主页
安装
使用Maven
cn.edu.hfut.dmic.webcollector
WebCollector
2.73-alpha
</ d
2021-09-09 20:17:39
16.89MB
1
DotnetSpider是开源的.NET跨平台数据采集爬虫框架。需要 Scheduler，Downloader ，Processor，Pipeline 四部分。
2021-09-08 15:27:49
2.26MB
1
Python数据分析+Python并发编程+Python分布式爬虫框架设计Python基础+Python进阶班
2021-09-02 09:09:40
175B
1