java网络爬虫小程序

java网络爬虫

设计并实现crawler 程序对 crawler 的功能要求如下，但不限于此：（1）能够搜集本站内的所有网页，能提取出其中的URL 并加入到待搜集的URL 队列中，对非本网站域名的URL，只允许搜集首页，记录发现的URL 即可；对搜集的结果，产生2 个URL 列表：站内搜集URL、非站内（站外）发现URL；（2）使用User-agent 向服务器表明自己的身份；（3）能对HTML 网页进行解析，提取出链接URL，能判别提取的URL 是否已处理过，不重复下载和解析已搜集过的网页；（4）能够对crawler 的一些基本参数进行设置，包括：搜集深度（depth）、文件类型、文件大小等。（5）对搜集的过程生成日志文本文件，格式为三元组：时间戳(timestamp) Action URL Action 可表示当前的处理动作，例如processing（处理），parsing（解析），downloading （下载）等。对Action 的定义，请在实验报告中详细说明。（6）遵循礼貌规则。必须分析robots.txt 文件和meta tag 有无限制；一个线程抓完一个网页后要适当停顿（sleep）；最多允许与被搜集站点同时建立2 个连接（本地做网页解析的线程数则不限）。（7）采用多线程并行编程技术，提高搜集速度。

文件下载

资源详情

[{"title":"（ 6 个子文件 286KB ） java网络爬虫小程序","children":[{"title":"crawler","children":[{"title":"实验1","children":[{"title":"Crawler实验报告.doc 347.00KB ","children":null,"spread":false},{"title":"crawler","children":[{"title":"Parser.java 923B ","children":null,"spread":false},{"title":"Fetcher.java 1019B ","children":null,"spread":false},{"title":"CallBack.java 486B ","children":null,"spread":false},{"title":"URLList.java 335B ","children":null,"spread":false},{"title":"Crawler.java 814B ","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true}],"spread":true}]

评论信息

fengbin041990 :

挺好的，实用。
2016-09-11
lvz1111 :

很好，可以使用
2014-05-05
cout2013 :

还好，可以运行，就是过于简单了一些，有些要求都没有实现出来
2014-05-05
xiaopinggai_yaowei :

还可以吧，可以运行，就是注释有点少
2014-05-03
andncuhome :

还可以。。。作为初学者可以作为参考。。。
2014-04-06

其他资源

免责申明

【只为小站】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【只为小站】无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论【只为小站】经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见版权及免责申明

java网络爬虫小程序

文件下载

资源详情

评论信息

其他资源

免责申明

个人信息

热门下载

最新下载