scrapy-flask:在Flask Web应用程序中执行Scrapy Spiders-源码

上传者: 42160376 | 上传时间: 2021-09-17 11:26:56 | 文件大小: 8KB | 文件类型: ZIP
WSGI和Scrapy 关于Scrapy Stackoverflow的一个常见问题是“如何在Flask,Django或任何其他Python Web框架中使用Scrapy?” 大多数工具都习惯于使用Scrapy生成的项目和cli选项,这使抓取工作变得轻而易举,但在尝试将Scrapy集成到WSGI Web框架时感到困惑。 遇到的常见回溯是ReactorNotRestartable ,它源于底层框架。 发生这种情况的原因是,与asyncio或Tornado不同,Twisted的eventloop / reactor一旦停止就无法重新启动(原因有点超出范围)。 因此,很明显,整合Scrapy和WSGI框架的技巧涉及到能够控制Twisted。 幸运的是,将异步Twisted代码与同步代码集成在一起已经变得非常容易,而且变得越来越容易。 在这篇文章中,将演示以下内容: 将搜寻器嵌入WSGI应用程序

文件下载

资源详情

[{"title":"( 6 个子文件 8KB ) scrapy-flask:在Flask Web应用程序中执行Scrapy Spiders-源码","children":[{"title":"scrapy-flask-master","children":[{"title":"quote_scraper.py <span style='color:#111;'> 1.22KB </span>","children":null,"spread":false},{"title":"requirements.py <span style='color:#111;'> 21B </span>","children":null,"spread":false},{"title":".gitignore <span style='color:#111;'> 1.13KB </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 10.87KB </span>","children":null,"spread":false},{"title":"flask_twisted.py <span style='color:#111;'> 2.34KB </span>","children":null,"spread":false},{"title":"flask_crochet.py <span style='color:#111;'> 2.07KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明