基于 苏飞的CsharpHttpHelper万能框架 写的一个拼多多商家自动发货系统，想研究爬虫技术的新手可以下载看一下，系统分为两部分，一部分是后台管理，一部分是自动发货客户端

用Java语言实现的网络爬虫，并使用正则表达式提取html网页的正文！

网络爬虫 毕业设计 很实用 网络爬虫 信息抓获 信息获取 对于相关毕业设计很有用

多线程爬取网络图片，直接可以运行！

对现在所有的主流平台爬取是没任何问题！

强化版：C#网络爬虫，新加了许多功能，图片爬取，下载，网址爬取下载等等，更多功能，待各位朋友去改进咯！！！

完全基于C语言实现的网络爬虫（也就是所谓的网络蜘蛛、搜索引擎），内附详细的设计文档和详细的讲解，想学的同志不容错过吖

有关网络爬虫的全方位介绍

以世纪佳缘网为例，思考自己所需要的数据资源，并以此为基础设计自己的爬虫程序。应用python伪装成浏览器自动登陆世纪佳缘网，加入变量打开多个网页。通过python的urllib2函数进行世纪佳缘网源代码的获取。用正则表达式分析源代码，找到所需信息导入excel。连接数据库，将爬下的数据存储在数据库中。

第1篇 自己动手抓取数据第1章 全面剖析网络爬虫 1.1 抓取网页 1.1.1 深入理解url 1.1.2 通过指定的url抓取网页内容 1.1.3 java网页抓取示例 1.1.4 处理http状态码 1.2 宽度优先爬虫和带偏好的爬虫 1.2.1 图的宽度优先遍历 1.2.2 宽度优先遍历互联网 1.2.3 java宽度优先爬虫示例 1.2.4 带偏好的爬虫 1.2.5 java带偏好的爬虫示例 1.3 设计爬虫队列 1.3.1 爬虫队列 1.3.2 使用berkeley db构建爬虫队列 1.3.3 使用berkeley db构建爬虫队列示例 1.3.4 使用布隆过滤器构建visited表 1.3.5 详解heritrix爬虫队列 1.4 设计爬虫架构 .1.4.1 爬虫架构 1.4.2 设计并行爬虫架构 1.4.3 详解heritrix爬虫架构 1.5 使用多线程技术提升爬虫性能 1.5.1 详解java多线程 1.5.2 爬虫中的多线程 1.5.3 一个简单的多线程爬虫实现 1.5.4 详解heritrix多线程结构 1.6 本章小结第2章 分布式爬虫 2.1 设计分布式爬虫 2.1.1 分布式与云计算 2.1.2 分布式与云计算技术在爬虫中的应用——浅析google的云计算架构 2.2 分布式存储