针对大数据时代下, 海军航空部队存在的种种数据治理问题, 设计了一种基于Spark的航空信息服务平台, 平台实现了航空数据的存储, 分析与挖掘等功能. 平台采用4层体系架构, 使用了HDFS分布式文件存储框架和Hive数据仓库工具实现了数据的存储和管理. 最后, 通过仿真实验, 比较在不同数据量下航空信息服务平台与传统航空数据仓库的性能优劣. 通过海军航空信息服务平台建设, 可以有效为海军航空部队实训提供数据支撑, 为平台使用者提供辅助决策.
2021-12-29 16:15:01
929KB
1
课程分享——Spark从入门到上手实战视频教程，完整版下载，含代码、软件、笔记、课件等。Spark属于新起的基于内存处理海量数据的框架，由于其快速被众公司所青睐。Spark 生态栈框架，非常的强大，可以对数据进行批处理、流式处理、SQL 交互式处理及机器学习和Graphx 图像计算。
2021-12-28 18:07:56
680B
1
PySpark大数据处理及机器学习Spark2.3视频教程，本课程主要讲解Spark技术，借助Spark对外提供的Python接口，使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习等内容。由浅到深的带大家深入学习大数据领域最火的项目Spark。帮助大家进入大数据领域，抓住大数据浪潮的尾巴。
2021-12-22 09:09:29
529B
1
hadoop3.3.0.dll&winutil工具连接
Apache Hadoop 3.3.0 incorporates a number of significant enhancements over the previous major release line (hadoop-3.2).
Overview
Users are encouraged to read the full set of release notes. This page provides an overview of the major changes.
2021-12-11 11:33:42
40KB
1
spark学习课件，让你深入浅出学习spark。Spark是Hadoop MapReduce的替代方案。MapReudce不适合迭代和交互式任务，Spark主要为交互式查询和迭代算法设计，支持内存存储和高效的容错恢复。Spark拥有MapReduce具有的优点，但不同于MapReduce，Spark中间输出结果可以保存在内存中，减少读写HDFS的次数。
2021-12-10 11:31:02
36.06MB
1