spark-assembly-1.3.0-hadoop2.5.0-cdh5.3.0.jar的下载地址和提取码

hadoop集群一键部署脚本

Spark&Yarn手动安装指南

Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化，任务在本地调试通过后，执行在分布式环境下也可能会出错。 而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。 因此，为方便大数据开发人员进行快速开发调试，开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成，替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob、Standalone 、yarnSession模式下的任务提交。 支持Spark任务以Yarn Cluster模式提交到YARN，支持自动上传用户Jar包，依赖的Spark Jars需要提前上传到H

Kyuubi是基于构建的高性能通用JDBC和SQL执行引擎。 Kyuubi的目标是促进用户处理大数据（如普通数据）。 它提供了标准化的JDBC接口，在大数据场景中具有易于使用的数据访问。 最终用户可以专注于开发自己的业务系统并挖掘数据价值，而不必了解底层的大数据平台（计算引擎，存储服务，元数据管理等）。 Kyuubi依靠Apache Spark提供高性能的数据查询功能，并且引擎功能的每一项改进都可以帮助Kyuubi的性能取得质的飞跃。 此外，Kyuubi通过引擎缓存提高了临时响应速度，并通过水平缩放和负载平衡增强了并发性。 它提供了完整的身份验证和身份验证服务，以确保数据和元数据的安全性。 它提供强大的高可用性和负载平衡，以帮助您保证SLA承诺。 它提供了两级弹性资源管理体系结构，可以有效地提高资源利用率，同时满足包括交互，批处理和点查询或全表扫描在内的所有方案的性能和响应要求。 它包