上传者: 42131439
|
上传时间: 2021-11-18 16:07:38
|
文件大小: 545KB
|
文件类型: -
刮擦
是一个框架,用于根据基于键值的配置文件创建Web爬虫和Web爬虫。 它提供了一个命令行界面来在给定的基于JSON的配置输入上运行脚本,以及一个Web界面来提供必要的输入。
Scrapple的主要目标是抽象设计Web内容提取器的过程。 重点放在要提取的内容上,而不是如何去做。 用户指定的配置文件包含选择器表达式(XPath表达式或CSS选择器)和要选择的属性。 Scrapple完成了运行此提取器的工作,而用户无需担心编写程序。 Scrapple也可以用于生成实现所需提取器的Python脚本。
安装
您可以使用以下方法安装Scrapple
$ sudo apt-get install libxml2-dev libxslt-dev python-dev lib32z1-dev
$ pip install scrapple
否则,您可以克隆此存储库并安装软件包。
$ git clo