文件是本人将webmagic、mybatis-plus、HikariCP、hutool等开源项目到一个springboot项目中搭建起来的一个爬虫框架,使用了Spring的@Scheduled注解开启定时任务去开启一个爬虫,processor类负责网站的爬取,pipline类负责将爬取的内容通过Mybatis-Plus存储到MySQL数据库;去除webmagic部分,本框架也是一个完整的springboot+mybatis-plus的架构,里面用的基本上都是当前最新的技术,公布出来主要是与大家共同学习,有问题可以指出。注意:数据库结构的SQL在项目的sql文件夹下,启动项目前请修改数据库连接以及定时任务的cron表达式
1