完整版基于java编程语言的网络爬虫系统的设计与实现-毕业设计论文 共63页.doc

第一章 引言 1 第二章 相关技术介绍 2 2.1 JAVA线程 2 2.1.1 线程概述 2 2.1.2 JAVA线程模型 2 2.1.3 创建线程 3 2.1.4 JAVA中的线程的生命周期 4 2.1.5 JAVA线程的结束方式 4 2.1.6 多线程同步 5 2.2 URL消重 5 2.2.1 URL消重的意义 5 2.2.2 网络爬虫URL去重储存库设计 5 2.2.3 LRU算法实现URL消重 7 2.3 URL类访问网络 8 2.4　爬行策略浅析 8 2.4.1宽度或深度优先搜索策略 8 2.4.2 聚焦搜索策略 9 2.4.3基于内容评价的搜索策略 9 2.4.4 基于链接结构评价的搜索策略 10 2.4.5 基于巩固学习的聚焦搜索 11 2.4.6 基于语境图的聚焦搜索 11 第三章 系统需求分析及模块设计 13 3.1 系统需求分析 13 3.2 SPIDER体系结构 13 3.3 各主要功能模块（类）设计 14 3.4 SPIDER工作过程 14 第四章 系统分析与设计 16 4.1 SPIDER构造分析 16 4.2 爬行策略分析 17 4.3 URL抽取，解析和保存 18 4.3.1 URL抽取 18 4.3.2 URL解析 19 4.3.3 URL保存 19 第五章 系统实现 21 5.1 实现工具 21 5.2 爬虫工作 21 5.3 URL解析 22 5.4 URL队列管理 24 5.4.1 URL消重处理 24 5.4.2 URL等待队列维护 26 5.4.3 数据库设计 27 第六章 系统测试 29 第七章 结论 32 参考文献 33 致谢 34 外文资料原文 35 译文 51