本测试Demo共包含两个网站，涉及到三个数据页面的操作，三个Controller层由浅及深，可以更快入手，数据才存储数据库的时候，做了重复性的判断，避免重复添加。

python ，requests，爬虫框架，适合人类的爬虫框架，适合新手入门，也适合用来随时查询APi

Crawlab 基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.

ncrawler-79962.zip

Web枫 以webmagic为内核的分布式可视化爬虫框架，参考webmagic-avalon的架构，目标是提供可分散部署的爬虫框架，以及可视化的爬虫管理界面。 目前分为三个模块： maple-admin，为webmagic-avalon中的管理员中断，对应一个java进程。负责： 与多个worker通信，监听worker的幸存； 从工人处获得当前爬虫信息，并在前端页面展示； 调用worker的接口创建爬虫。 它是一个Springboot项目，可以直接打包上传到服务器并启动。 maple-worker，为worker承包商，对应一个java进程。一台机器上可部署多个worker。负责： 具体爬虫（spider）的创造和管理； 向管理员异步发送心跳包确保自己的存活。 它和管理员一样是可以直接打成jar包部署的。 枫木网络，为网络通信部分的通用模块。

极易上手，具备完善的文档和示例 支持多并发爬取 支持失败重试、代理、断点续爬 完善的爬取进度日志 支持基于xpath、css选择器解析内容 支持模拟浏览器行为，如user-agent、cookie、提交表单

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用

最新版HttpHelper万能框架V2.4，最新C#采集框架，HttpHelper可以非常方便的实现Http协议的GET和POST请求、自动识 别编码、无视证书、优化Cookie、可以很方便的设置Cookie，Header，证书，代理等问题，仅限于大家学习交流使用，请大家于24小时之内删除，谢谢，本人概不负责因此学习交流24小时删除包引发的各种问题。

Python爬虫从入门到精通，这篇文档主要是针对学习python爬虫的课程，又基础的python爬虫框架scrapy开始，一步步学习到最后完整的爬虫完成，现在python爬虫应用的非常广泛，改篇详细介绍了scrapy爬虫和其他爬虫技术的对比，深入剖析python爬虫的每一步，主要内容如下： 1）pyhon爬虫基础 2）爬虫库 3）Scrapy框架 4）命令行工具 5）Items 6）Spiders 7）选择器 8）管道 9）中间件 10）爬虫小技巧

全新顶级Python爬虫核心项目与框架实战教学，课程目的就是带领同学们做项目，做没有赘述的Python精华核心项目。课程分为了5个大的节点，分别是Python网络爬虫前奏阶段，主要是进行课程的预热以及概要和说明。第二部分是Python网络爬虫规则阶段，此时我们以及身处项目之中，老师将带领我们了解爬虫书写以及规则等内容。Python网络爬虫的第三部分是数据的提取，也是Python网络爬虫中非常重要的一部分。 第四则是Python网络爬虫实战篇，我们将跟随老师的步伐不断深入的探究Python网络爬虫的各项实战技术，老师在课程中会介绍非常多的实际经验以供同学们参考和学习。课程的终篇也