开发一个比较完善的基于JavaWeb的网络爬虫系统，简单来说，就是一个可以从指定网站爬取数据的系统，通过启动客户端，可以实现以下功能：
1、爬取数据: 本次爬取数据的来源BOSS直聘，在职位输入框里面输入你想要查询的岗位，然后点击开始爬取即可；那么爬取下来的数据放在SqlServer数据库里面；
2、查询数据: 点击查询数据按钮,可以查询出来之前爬取的所有数据；
3、搜索功能: 根据上面的输入框,查询对应的数据
根据公司名称查询
根据职位查询
根据薪资查询
根据经验查询
根据学历查询
根据地址查询
4、添加公司: 我们在黑名单公司输入公司名,然后点击添加公司，那么这个公司就会添加到黑名单里面，爬取数据不会包含黑名单的公司；
开发工具：SqlServe 、Intellij IDEA
2023-04-11 15:42:50
1.4MB
1
利用全媒体大数据、多语言文本语义理解、跨平台信息传播追踪等技术提供信息监测与预警、深度分析与研判、舆情疏导与效果评估等一站式闭环智能服务为海内外政府和企业在舆情应对、情报收集、业务决策等方面提供全套解决方案。市面上关于Go的案例很少，将舆情系统于Go爬虫相结合可以便于学习者快速掌握Go语言技术的综合应用，让你真实体验企业的开发环境和实战。
2022-08-22 21:52:41
476KB
1
资源包含文件：课程论文word+源码
可以获取特定网站的图片，保存在项目文件夹下的pictures文件夹下，并且将图片合成指定大小，指定图片数量的照片墙。批量拼接图片，可以合成有纪念意义的照片墙。比如全班同学的照片拼合成的照片墙，家乡的风景照片拼合成的照片墙等等。由于项目内的图片合成是由一段算法实现的，
详细介绍参考：https://biyezuopin.blog.csdn.net/article/details/125231094
2022-06-11 13:06:35
22.83MB
蜘蛛
一。简介
通过spring boot建造的爬虫系统
二。技术选型
spring boot：构建项目框架，比较Swift，集成嵌入式tomcat，部署运行方便，零配置代码简洁
elasticSearch：作为nosql数据存储引擎
elastic-job：分布式作业调度系统，依赖zookeeper环境作为分布式协同
WebMagic：爬虫框架，有去重功能，支持Xpath，regex，css等选择器
三。运行方式
先启动zookeeper和elasticsearch ，并修改相应配置，然后按下面任意方式启动项目
方式一：执行命令mvn spring-boot:run立即启动
方式二：maven打成jar包后，将使用命令java -jar spider-1.0.0-SNAPSHOT.war &启动spider-1.0.0-SNAPSHOT.war
方式三：部署在tomcat中直接运行
四。
2021-12-09 10:09:20
277KB
1