一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用

burpsuite新版的Spider模块Content discovery功能详解和实操

六足机器人 solidworks模型 可3D打印，并安装舵机 实现步态控制。

IRNet 提供的原始spider数据集。 You could process the origin Spider Data by your own. Download and put train.json, dev.json and tables.json under ./data/ directory and follow the instruction on ./preprocess/

带有Web UI的分布式多用户Scrapy系统 这是一个Django项目，允许用户通过Web界面创建，配置，部署和运行Scrapy Spiders。 该项目的目标是构建一个应用程序，该应用程序将允许多个用户编写自己的抓取脚本，并将其部署到一组工人中，以分布式方式进行抓取。 该应用程序允许用户通过Web界面执行以下操作： 创建一个Scrapy项目 添加/编辑/删除草率项目 添加/编辑/删除Scrapy项目管道 编辑链接生成器功能（有关更多信息，请参见下文） 编辑刮板功能（有关此内容，请参见下文） 将项目部署到工作机 在工作机上启动/停止项目 显示工作机，数据库和链接队列的联机状态 显示项目的部署状态 显示报废的数量 显示刮时项目中发生的错误数 显示项目的开始/停止日期和时间 建筑 该应用程序捆绑了用于MongoDB的Scrapy管道（用于保存被抓取的项目）和用于RabbitMQ的Scrapy调度程序（用于在工作人员之间分配链接）。 这些代码是从和获取并改编的。 这是运行应用程序所需的内容： MongoDB服务器（可以是独立群集或分片群集，副本集未经测试） RabbitMQ服务器

Python3爬虫课程资料代码, 有文档以及代码， 代码使用notebook可以打开， 其中还有一次例子， 比如爬取知乎代码示例

简单的爬虫实例，爬取了大学排名的相关信息，适合爬虫入门

开发爬虫中，始终受困于爬虫的效率问题，后多方查看资料，根据已掌握的信息编写了该项目，此demo完全基于python的协程思想实现，不管是自己研究用还是应用到自己的项目中都可以。需要的小伙伴快下载来使用吧

matlab语言编写的机器学习的各种常用算法，包括svm,adboost,bagging,svm,决策树，贝叶斯准则等机器学习常用算法

python自定义爬虫，爬取豆瓣网以及腾讯招聘网信息并进行数据可视化分析，可自定义爬取网站