用python写了一个下载http://desk.zol.com.cn上面壁纸的爬虫，其中使用了HTMLParser模块方法分析页面，解析出每一页的入口地址，再根据入口地址分析内页的图片地址，解析内页地址使用了多线程，下载图片也是用的多线程，为了测试多线程爬虫的性能，本程序使用了50个线程分析内页图片地址，100个线程下载图片，自动下载，整个过程只需要动几下鼠标，哗啦啦一堆美女图片到手，再也不用手动下载壁纸那么麻烦了。

自己开发了一个python网页爬虫，很好用，模拟网页操作，简单便捷，爬取的内容可直接保存为为csv格式 自己开发了一个python网页爬虫，很好用，模拟网页操作，简单便捷，爬取的内容可直接保存为为csv格式

爬虫技术

Java网页爬虫 JSpider

用python编写的，对腾讯新闻进行抓取的代码，直接运行时可抓下5100篇相关的新闻

最新版请自行到官网下载，挺好用的开源爬虫，用于学习，任何商业用途请联系官方，本人不承担任何风险

c语言写的网页爬虫程序，给一个种子网址，深度搜索遇到的所有网址保存在一个文本文档中spider_c

一般来说，使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里，让它来执行. 另一种是直接从Thread继承，创建一个新的class，把线程执行的代码放到这个新的class里。 实现多线程网页爬虫，采用了多线程和锁机制，实现了广度优先算法的网页爬虫。 先给大家简单介绍下我的实现思路： 对于一个网络爬虫，如果要按广度遍历的方式下载，它是这样的：         1.从给定的入口网址把第一个网页下载下来         2.从第一个网页中提取出所有新的网页地址，放入下载列表中         3.按下载列表中的地址，下载所有新的网页         4.从

超级简单网页抓取源码，js加载完成抓取源码，抓取动态加载页面的源码。适合初学者，很简单。看懂很容易。页面加载完成抓取源码 适合新手，赚点资源分但是内容绝对有效简单明了。

自己写的一个爬虫，模仿了python核心编程书里的程序，有详细的注释。 是我一个理解学习的过程吧。 执行robot.py 按照提示输入一个完整的url，单域名结尾需要加/ ，抓取的网页会在脚本目录下生成一个域名的文件夹。