成都 ======== 使用 Django 配置管理员的网络蜘蛛。 15-07-09 jiler：我写了好几行和文件，现在可以提供api了。 这条线只是为了好玩。

简单的组件都打包好了，解压就可以玩

dede蜘蛛爬行插件

DEDE各大蜘蛛爬行记录插件.rar

新安装需要设置的地方： 1.站群管理 （网站管理，站点优化设置）、用你的域名在这里添加网站 2.系统设置（统计代码，百度推送代码） 3.采集管理（可开启自动采集） 4.缓存设置：推荐开启tkd缓存 其他的用户根据自己的实际情况后台进行配置，通常以下： 1.后台首页（这里显示系统的大致概况） 2.系统设置：蜘蛛池的基本设置（访问开关、跳转、统计等等） 3.站群管理： 1.网站管理（用你的域名在这里添加网站） 2.模型管理（可构建不同类型站点：电影、文章、论坛等等） 3.TKDB调用模板（即：title、keywords、description、内容调用） 4.站点优化（站点互链、标题重组、内容重组、伪静态等优化..） 4.在线升级：在线检测/升级最新版本 5.内容库：内容数据库（每个文件一行一条内容），前台所有内容来自于此 6.外链管理：这里设置需要牵引蜘蛛的外链地址 7.采集管理：一键采集标题、内容、图片等.. 8.模板设置： 1.模板可绑定域名 9.蜘蛛管理： 1.蜘蛛访问日志（日访问、周访问、月访问图表，一目了然） 2.蜘蛛设置（记录开关、蜘蛛劫持开关、劫持概率、劫持类型） 3.蜘蛛防火墙(屏蔽指定、垃圾蜘蛛，节约服务器资源) 10.缓存管理：设置缓存各页面时间，一键清除缓存 11.IP屏蔽。 等等.... 这个程序本人也在用 保证能用

工行网银工资代发（小蜘蛛）软件，用于批量加密、代发工行工资。

通过BT分享有趣的资源 这是一个有趣的 bt 搜索引擎......嗯，如果你找不到你想要的东西，那就不是很有趣了 XD... 我希望技术栈不要吓到你，如果你发现协议文档很难阅读，只需阅读代码或阅读灵感的...... 演示 功能（测试版） 在收集器的帮助下进行磁力链接搜索。 代码结构 网络 Web 模块建立在 tornado 之上，并使用它来提供 80 端口的种子搜索。 bt bt 下载模块运行 http 请求以获取种子的详细信息。 MDHT 模块建立在之上，并将其用作伪造的bittorent 客户端从网络收集资源的hashinfo。 技术细节 前端 杰昆 要求 引导程序 较少的 咖啡脚本 后端 龙卷风 扭曲的 世界数据库 Redis 事件 去做 部署方法 服务器 不要使用root用户 插槽编号 超限 等等 重建文件结构删除未使用的测试目录 网页界面文件列表支持 全文搜索（也许是

实现蜘蛛纸牌的基本功能，java代码，能直接运行主类或是.exe程序，开发环境eclipse（idea需要更改编码方式）

C# 网页爬虫，针对一个网站，爬取解析出的所有的超链接，以实现所有站点资源的下载。 本代码是在以为大神的基础上经过修改而成。

C语言实现的网络爬虫，各位感兴趣的话可以参考参考，用到了多线程、epoll等技术