crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK，自动进行表单填充并提交，配合智能的JS事件触发，尽可能的收集网站暴露出的入口。内置URL去重模块，过滤掉了大量伪静态URL，对于大型网站仍保持较快的解析与抓取速度，最后得到高质量的请求结果集合。 crawlergo 目前支持以下特性： 原生浏览器环境，协程池调度任务 表单智能填充、自动化提交 完整DOM事件收集，自动化触发 智能URL去重，去掉大部分的重复请求 全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz 支持Host绑定，自动添加Referer 支持请求代理，支持爬虫结果主动推送

Adobe.Acrobat.v7.0.SDK实在不好找，我公司是买Adobe公司的很贵，我在此免费共享出来，大家共同研究。 我本地的RAR有60M，CSDN上载权限15MB，所以只是提供了download地址，下载可能比较慢，望谅解。

JS实现URL编码转换中文

可将上网记录清除可将上网记录清除.....

把脚本用记事本打开修改自己的内容然后导入即可。 # ------------------------------------------- # 自已修改2345后面的那个推广ID就可以了 # 2345注册地址:技术员装机设2345.com为主页，终身领工资！ # 立即注册开始领工资，注册邀请链接：http://jifen.2345.com/?22989587

用php分析URL网址，可以得到文件名、目录路径，还有其它数据，原理就是使用PHP的explode函数分隔字符串。

小型超市管理系统uml大作业.doc

java抓取技术源码 多线程爬虫--抓取淘宝商品详情页URL 本项目是一个Java编写的多线程爬虫系统。此系统与我之前开发的结合使用，共抓取了淘宝近3000个页面，从中解析到了近9万的商品详情页URL。 我并没有直接将这些商品详情页中最具价值的数据（商品信息）提取出来，因为这些富有价值的数据对于目前的我来说并不是特别具有吸引力。开发这个项目当初的本意也只是为了锻炼自己开发多线程应用程序的能力，并且真正的与反爬虫做对抗，最终我成功了～ 我会将抓取到的数据（近9万商品详情页URL）提供给大家，如果大家需要真正的商品信息，而你们又没有什么好的办法，那么就花半天时间阅读一下此项目的源码吧，最后只要在这个代码的框架上稍作修改，这个多线程爬虫系统将完全满足你们的需求。 环境需求 JDK 1.8 MySQL Redis IDEA Maven 实现架构 包名 功能 database 有关MySQL与Redis数据库的配置类及操作类 httpbrower 发送HTTP请求，接收Response相关类 ipproxypool IP代理池 mainmethod Main方法入口 mythread 项目相关线

asp.net用url重写URLReWriter实现任意二级域名 高级篇.docx

多线程并发日采集几十万（去重后）业内领先。 永久更新维护！