上传者: 38527987
|
上传时间: 2021-11-23 18:49:29
|
文件大小: 2.16MB
|
文件类型: -
Item Pipeline介绍
Item对象是一个简单的容器,用于收集抓取到的数据,其提供了类似于字典(dictionary-like)的API,并具有用于声明可用字段的简单语法。
Scrapy的Item Pipeline(项目管道)是用于处理数据的组件。
当Spider将收集到的数据封装为Item后,将会被传递到Item Pipeline(项目管道)组件中等待进一步处理。Scrapy犹如一个爬虫流水线,Item Pipeline是流水线的最后一道工序,但它是可选的,默认关闭,使用时需要将它激活。如果需要,可以定义多个Item Pipeline组件,数据会依次访问每个组件,执行相应的数据处理功