包含车流量监控项目的过程解析、以及sql。还有源代码。项目中的libs目录下缺一个包spark-assembly-1.6.0-hadoop2.4.0,可自行下载
2021-10-28 04:58:24 131.38MB 大数据 spark
1
spark相关的知识点整理出来的xmind,仅供参考~ 学习在于总结,希望能够帮助大家更快速的熟悉、了解或者复习这些内容。
2021-10-27 20:30:36 39KB spark 大数据
1
Spark Summit West 2015的演讲PPT,databricks专家介绍Spark DevOps进阶课程。
2021-10-27 11:11:51 19.98MB Spark DevOps
1
智慧交通实战项目源码2,源码1地址:https://download.csdn.net/download/qq_33283652/10915990
2021-10-26 23:04:08 129.52MB spark
1
spark-2.4.8-bin-hadoop2.7.tgz
2021-10-26 18:07:59 224.97MB spark
spark安装文档.zip
2021-10-26 18:07:59 608.95MB spark hadoop 大数据
Spark在实际的工业生产和实践中已经获得了广泛的应用,但是由于其诞生的时间较晚,版本更新速度慢。现阶段,使用Spark框架在某些具体的大数据场景中能对其挖掘,就要结合原有的模块改写部分功能,发挥其应有的作用。解决大数据挖掘问题的同时,Spark框架由于功能性不足,如进行机器学习库的时候的MLlib里面解决关联新问题的分布式机器学习算法还有不足之处。故此,该文就Spark大数据挖掘技术开展深入的研究,希望能为该领域研究提供参考。
2021-10-26 17:38:27 1.64MB 大数据
1
项目背景 公司核心的实时业务用的是spark streaming2.3.0+kafka1.3的流式技术来开发的。在这里我把它做成了一个骨架项目并开源出来,希望后来的朋友可以借阅和参考,尽量少走些弯路。 下面是使用过程中记录的一些心得和博客,感兴趣的朋友可以了解下: 项目简介 该项目提供了一个在使用spark streaming2.3+kafka1.3的版本集成时,手动存储偏移量到zookeeper中,因为自带的checkpoint弊端太多,不利于项目升级发布,并修复了一些遇到的bug,例子中的代码已经在我们生产环境运行,所以大家可以参考一下。 主要功能 提供了快速使用 spark streaming + kafka 开发流式程序的骨架,示例中的代码大部分都加上了详细的注释 提供了手动管理kafka的offset存储到zookeeper的方法,并解决了一些bug,如kafka扩容分区,重启实
2021-10-26 17:13:10 14KB Scala
1
hadoop搭建相关文件文件
2021-10-25 21:00:59 124KB yyyy
1
spark所需要的scalajar包依赖
2021-10-25 18:13:28 148.3MB 111
1