拼命的要求
Scrapy中间件可使用request-html异步处理javascript页面。
request-html使用pyppeteer加载javascript页面,并为您处理用户代理规范。 使用requests-html非常直观和简单。
要求
Python> = 3.6
Scrapy> = 2.0
request-html
安装
pip install scrapy-requests
配置
扭曲使用Asyncio事件循环,并将RequestsMiddleware添加到下载器中间件
settings.py
TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'
DOWNLOADER_MIDDLEWARES = {
'scrapy_requests.RequestsMid
2021-09-13 09:57:33
7KB
Python
1