使用python的scrapy爬取文本保存为txt文件
编码工具
Visual Studio Code
实现步骤
1.创建scrapyTest项目
在vscode中新建终端并依次输入下列代码:
scrapy startproject scrapyTest
cd scrapyTest
code
打开项目scrapyTest(vscode自动生成下列文件)
2.源代码
pipelines.py
class ScrapytestPipeline(object):
def open_spider(self,spider):
#创建my.txt文件,并将字符集设为utf
1