java实现可配置爬虫源码-MagicToe:基于webmagic+springboot+mybatis的Java爬虫,使用Echarts进行

上传者: 38526914 | 上传时间: 2021-08-12 17:45:50 | 文件大小: 36.14MB | 文件类型: ZIP
java实现可配置爬虫源码 MagicToe MagicToe是一个基于Java爬虫框架的Java爬虫实战案例,MagicToe提供了从获取数据到数据持久化、可视化分析以及构建简单的代理池等一系列完整流程,旨在为初涉Java爬虫的程序员提供一个参考教程和一整套完整的解决方案。 仓库目录 :爬虫功能实现模块,使用WebMagic + SpringBoot + MyBatis基础架构,NLP工具包是,定制抽取逻辑,将爬取的数据持久化到MySQL数据库中,本仓库中的代码示例爬取的是虎扑步行街。 :数据分析及可视化模块,使用Spring + SpringMVC + MyBatis的基础架构,数据可视化采用的前端技术是 jsp + 。 (可选):爬取代理网站模块,技术选型同hupu-spider,将代理网站上的免费代理地址爬取到本地数据库中,实现一个简单的IP池,以供hupu-spider作为代理使用。 QuickStart 爬虫模块环境准备: JDK 1.8+ maven 4.0.0+ webmagic 0.7.3+ ansj_seg 5.1.1+ springboot 1.5.7+ myba

文件下载

资源详情

[{"title":"( 198 个子文件 36.14MB ) java实现可配置爬虫源码-MagicToe:基于webmagic+springboot+mybatis的Java爬虫,使用Echarts进行","children":[{"title":"pom.xml <span style='color:#111;'> 2.45KB </span>","children":null,"spread":false},{"title":"HupuspiderApplicationTests.java <span style='color:#111;'> 472B </span>","children":null,"spread":false},{"title":"application.yml <span style='color:#111;'> 225B </span>","children":null,"spread":false},{"title":"db.sql <span style='color:#111;'> 1.37KB </span>","children":null,"spread":false},{"title":"User.java <span style='color:#111;'> 1.08KB </span>","children":null,"spread":false},{"title":"......","children":null,"spread":false},{"title":"<span style='color:steelblue;'>文件过多,未全部展示</span>","children":null,"spread":false}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明