1.CSpider文件夹下是我开始编写前参考的开源代码，结构比较清晰。单线程 2.任务概述是我这次写spider的过程的描述，我做这次spider的目的是完成一项课程设计。 3.整个spider的开发过程为增量式，从最开始的单页搜索url到最后的多线程spider，这在版本规划中又很明显的体现。每个版本都有自己的readme，其中详细叙述了各个版本的不同 4.由于是初学者，我在每个版本中都是边写边测试，以查找爬虫的bug，所以代码中有很多被注释的段落可能是测试使用。 5.具体版本信息查看各自的readme 另外，爬虫不止提取了url，同时提取了相应的锚文本。这个提取过程导致了爬虫速度的下降，但也是一个必须的开销

C#(Csharp)多线程HTTP并发请求(HttpWebRequest)采集蜘蛛

一个非常有性能的c#蜘蛛、网络爬虫源代码。喜欢可以下载学习

java 蜘蛛爬虫 数据库 jsp 搜索引擎 利用这个可以让搜索引擎更好地收录你的站点！！

C# 网页爬虫，针对一个网站，爬取解析出的所有的超链接，以实现所有站点资源的下载。 本代码是在以为大神的基础上经过修改而成。

一个开源的C#蜘蛛爬虫程序，看了让你很受启发. 其中涉及了Html标签属性的解析，爬行域名的控制，多线程等关键内容

一个简单的java网络蜘蛛程序，非常适合初学者

一个开源的C#蜘蛛爬虫程序，看了让你很受启发. 其中涉及了Html标签属性的解析，爬行域名的控制，多线程等关键内容，入门级好教材。修订了原程序中多线程更新UI错误；

C#蜘蛛爬虫源代码、上传让大家评评，谢谢

Visual studio 2013 NET 4.5 编译 源代码 有注释 和说明 自己写的用于交流 也可以下载整个站点