上传者: 38685832
|
上传时间: 2021-12-13 14:11:34
|
文件大小: 805KB
|
文件类型: -
1. Cmd命令行创建项目
创建项目命令:
scrapy startproject [项目名]
Items定义要爬取的东西;spiders文件夹下可以放多个爬虫文件;pipelines爬虫后处理的文件,例如爬取的信息要写入数据库;settings项目设置
2. Scrapy常用模板
Scrapy-般通过指令管理爬虫项目,常用的指令有:
(1) startproject创建爬虫项目
basic基础模板(最常用);crawl通用爬虫模板;csvfeed爬取csv格式的模板;xmlfeed爬取xml格式的模板
(2) genspider -I查看爬虫模板
(3)genspider -t模版