crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK，自动进行表单填充并提交，配合智能的JS事件触发，尽可能的收集网站暴露出的入口。内置URL去重模块，过滤掉了大量伪静态URL，对于大型网站仍保持较快的解析与抓取速度，最后得到高质量的请求结果集合。
crawlergo 目前支持以下特性：
原生浏览器环境，协程池调度任务
表单智能填充、自动化提交
完整DOM事件收集，自动化触发
智能URL去重，去掉大部分的重复请求
全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz
支持Host绑定，自动添加Referer
支持请求代理，支持爬虫结果主动推送
2022-01-20 14:00:18
11.29MB
1
更强大的网页数据爬取利器，直接在浏览器中使用，不亚于Web Scraper ，具有所见即所得，简单，快速易懂的特点，而且免费！RuiJi Scraper提倡共享，使爬虫工作者数据采集更为简单。
2021-05-26 13:47:30
5.03MB
1