源码简介
分享的是一款搜索引擎源码,百度云盘爬虫源码,Python百度云网盘搜索引擎,爬虫+网站,搜索引擎采用Xunsearch高效搜索,源码很简单,附带安装教程,可二开,这里资源邦免费分享给大家,全自动更新百度云盘内容,全自动采集哦!
适用范围
百度云网盘搜索
引擎源码,百度搜索引擎源码,网盘搜索爬虫源码
运行环境
PHP+MYSQL+Python
测试截图
安装说明
1、上传源码到网站
2、创建名为pan的数据库,编码设为utf-8。然后导入sql,完成表的创建。
3、config.php 文件修改网站标题,描述等信息
database.php 修改数据库账号,密码等信息
4、启动爬虫
进入 spider/目录,修改spider.py 中数据库信息。
__如果你是第一次部署,需运行下面命令,完成做种__
python spider.py --seed-user
上面其实就是抓取百度云热门分享用户的相关信息,然后从他们开始入手爬取数据
然后运行
python spider.py
5、安装xunsearch
目前使用__xunsearch__作为搜索引擎,后面会更换为elasticsearch。
安装过程请参考(不需要安装,PHP SDK,我已经整合到web里了)
http://xunsearch.com/doc/php/guide/start.installation
此时爬虫已经开始工作了
6、索引数据
上面我们完成了爬虫的数据抓取,网站的搭建,但还不能搜索,下面开始最后一步,索引的建立。
进入 indexer/目录,在indexer.php中将$prefix,替换为你web的根路径
require '$prefix/application/helpers/xs/lib/XS.php';
并修改数据库账号密码
然后运行
python ./index.php
到此为止程序已全部安装完毕
2019-12-21 20:35:23
1.25MB
爬虫
百度云
1