上传者: 42131443
|
上传时间: 2021-11-23 12:39:40
|
文件大小: 5KB
|
文件类型: -
收集网址工具基本关键字
一种根据关键字批量采集url的小脚本,支持多个关键字批量采集。
工具详情
基于python3的小脚本,目前仅支持bing国际引擎采集,由于搜索引擎的不稳定性后续会根据情况更新或添加其他引擎!目前没有实现多线程,等待后续改进
使用条件
python3 + mysql
$ pip安装请求
下载lxml地址: ://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
$ python -m pip install对应本地路径./lxml-3.7.1-cp35-cp35m-win_amd64.whl
获取工具
$ git clone
提示
将/db/dbserver.py中的信息修改为自己的数据库
作者数据库结构为:数据库名称:url数据库表名称:url_tables开头:id,url(id主要键int类型url为longtext类型)