上传者: 42148053
|
上传时间: 2022-04-18 17:41:50
|
文件大小: 171KB
|
文件类型: ZIP
phpspider -- PHP蜘蛛爬虫框架
《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言 》所使用的程序
phpspider是一个爬虫开发框架。使用本框架,你不用了解爬虫的底层技术实现,爬虫被网站屏蔽、有些网站需要登录或验证码识别才能爬取等问题。简单几行PHP代码,就可以创建自己的爬虫,利用框架封装的多进程Worker类库,代码更简洁,执行效率更高速度更快。
demo目录下有一些特定网站的爬取规则,只要你安装了PHP环境,代码就可以在命令行下直接跑。 对爬虫感兴趣的开发者可以加QQ群一起讨论:147824717。
下面以糗事百科为例, 来看一下我们的爬虫长什么样子:
$configs = array(
'name' => '糗事百科',
'domains' => array(
'qiushibaike.com',