网上找的一个C#写的网络爬虫程序源码，支持多线程，上传上来方便自己查看，有需要的朋友可以直接拿去参考，呵呵~~~谢谢作者。

qcwy 使用scrapy实现一个搜索并抓取前程无忧职位信息的爬虫 主要功能：根据输入的关键字，搜索前程无忧上的职位，获取职位的相关信息 具体实现请参考：

EroCoolSpider 爬虫 支持列表页爬取和详情页爬取 所有爬取的图集将位于Gallery文件夹下的对应名称的文件夹内， meta.json中保存的是图集的元信息，如标签，图片数，图片源链接等 支持链接输入或通过启动参数预设爬取链接 BatchDownload.py可以自动多进程批量下载列表页内容 CollectCover.py可以CollectCover.py已下载图集的封面至Cover文件夹（默认为图集已下载图片的第一张） OpenGallery.py可以打开指定名称的图集（而避免使用让人厌烦的Windows搜索功能） .bat文件为已封装的启动命令，各文件和对应功能见于预期的： 文件名 功能 start.bat 无参数启动爬虫 start_batch.bat 启动列表批量下载 start_language_Chinese.bat 爬取中文图集 start_language

一个 安卓项目网页爬虫源码，获取网页中数据。

c++实现网络爬虫源码，vs2013环境编译，附编译说明，希望对大家有所帮助。

帮助抓取小猫图片的代码，适合各大吸猫人士。

爬取网站的一些有用信息来进行信息的总结。

python爬图片，可以在任何网站上爬到你想要的图片哈哈

京东商品推荐系统 数据爬虫部分 本项目用来抓取京东商城的食品区域的商品信息、评价信息和用户数据，数据库采用Mysql。 爬虫的核心模块采用，主要实现了JDPageProcessor类，继承自PageProcessor。 采用XPath和CSS Selector两种模式抽取网页信息。如抽取商品页面用户链接信息： String aHref = html.xpath("div[@class='item']/div[@class='user']/div[@class='u-icon']/a/@href").toString(); 采用的是Xpath抽取方式，过程：提取html中class为item的div中的class为user的div中的class为u-icon中的超链接。`

蓝天采集器是一款免费的数据采集发布软件，可部署在云端服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登陆实时发布数据，软件实现定时定量全自动采集发布，无需人工干预！是大数据、云时代网站数据自动化采集发布的最佳云端爬虫软件。 关于软件： SkyCaiji（蓝天数据采集发布系统），致力于网站数据自动化采集发布，使数据采集便捷化、智能化、云端化。系统可部署在云端服务器，实现移动化办公。 数据采集： 自定义采集规则（支持正则、XPATH、JSON等）精准匹配任意信息流，几乎能采集所有类型的网页，绝大多数文章类型页面内容可实现智能识别。 内容发布： 无缝耦合各类CMS建站程序，实现免登陆导入数据，支持自定义数据发布插件，也可以直接导入数据库、存储为Excel文件、生成API接口等。 自动化及云平台： 软件实现定时定量全自动采集发布，无需人工干预！内置云平台，用户可分享及下载采集规则，发布供求信息以及社区求助、交流等。