WSGI和Scrapy
关于Scrapy Stackoverflow的一个常见问题是“如何在Flask,Django或任何其他Python Web框架中使用Scrapy?” 大多数工具都习惯于使用Scrapy生成的项目和cli选项,这使抓取工作变得轻而易举,但在尝试将Scrapy集成到WSGI Web框架时感到困惑。 遇到的常见回溯是ReactorNotRestartable ,它源于底层框架。 发生这种情况的原因是,与asyncio或Tornado不同,Twisted的eventloop / reactor一旦停止就无法重新启动(原因有点超出范围)。 因此,很明显,整合Scrapy和WSGI框架的技巧涉及到能够控制Twisted。 幸运的是,将异步Twisted代码与同步代码集成在一起已经变得非常容易,而且变得越来越容易。 在这篇文章中,将演示以下内容:
将搜寻器嵌入WSGI应用程序
2021-09-17 11:26:56
8KB
Python
1