spark-----kudu-1.7.0+cdh5.15.1 rpm安装包
2022-10-26 14:06:58 347.46MB kudu
1
一本详细讲解kudu,impala和spark的原著
2022-07-01 18:07:27 54.3MB spark
1
Flink Sql 读写操作 Kudu 使用bahir 编译 Flink Kudu Connector,flink-connector-kudu_2.11-1.2-SNAPSHOT 和 flink-shaded-guava-30.1.1-jre-14.0
2022-06-21 14:06:10 2.59MB flink
1
实时数仓实践
2022-06-20 09:07:59 3.79MB 实时数仓
由于大数据里面涉及到非关系型数据库如hive、kudu、hbase等的数据迁移,目前涉及到的迁移工具都没有支持hive数据库的事务表的迁移,如果hive库里面存在大量的事务表的时候,目前的工具都是不支持的,例如华为的CDM,阿里研发的datax,hadoop的distcp都是不支持大数据事务表的迁移。但是目前很多公司随着数据量的增涨和上云的趋势,出现了喝多公司迁移大数据平台上云的需求,如果进行上云就要涉及到数据的迁移和各个不同平台数据版本的适配等问题。 下面为从自建的数据中心迁移hadoop到华为云上适配大数据平台MRS的一次项目迁移,此项目涉及到hive、kudu、hbase 的数据迁移,数据总量达到了15T,此文档是耗时5月时间和时间的检验,通过脚本编辑批量迁移完成大数据迁移上云的最终目标,里面涉及具体的迁移方案、解决方案、迁移流程、迁移脚本
2022-04-06 02:49:18 610KB big data 大数据
课程分享——Kudu分布式存储引擎,完整版,附代码、课件。 课程亮点: 阐述了Kudu的产生背景和应用场景 由浅入深的剖析了Kudu的基础架构、底层存储原理、读写流程、和HBase的对比 手把手的搭建了Kudu的分布式集群 详细的剖析了的Kudu的增删改查API和数据刷新策略 详细的描述了Kudu在实际生产环境中的架构图和应用,并剖析了如何和Spark进行交互、如何和Mysql进行交互 总结性的阐述了Kudu的性能测试报告、报错解决方案、性能优化方案 帮助同学们掌握基础的Linux常用命令
2022-01-05 17:02:26 651B kudu 分布式存储 java
1
给大家分享一套课程——Kudu分布式存储引擎视频教程,完整版,附代码+课件。希望对大家学习有帮助。
2022-01-05 13:03:02 663B 分布式存储 kudu
1
DataX是一个支持主流数据库的通用数据采集工具 详细描述了如何安装部署和每个采集插件的使用方法 该项目从阿里的而来,经过了精简和改造,说明如下 功能差异说明 精简 删除了仅在阿里内部的数据库,这些数据库在非阿里集团无法使用,因此直接删除,包括: 美国存托凭证 DRDS OCS ODPS 开源软件 OTS 增加 增加了部分插件,目前包括 阅读器插件 clickhousereader dbffilereader hbase20xreader jsonfilereader Kudureader influxdbreader httpreader 作家插件 dbffilewrite 青梅作家 库杜作家 Influxdbwriter 部分插件增强功能,罗列如下 关系型数据库增加了几乎所有基本数据类型和部分复杂类型的支持 hdfswriter增加了对十进制数据类型格式的支持 hdfswriter增加了对Parquet文件格式的支持 hdfswrite增加了目录覆盖模式 hdfswriter增加了更多的文件压缩格式支持 hdfswriter的临时目录位置放入为当前写入目录下的
2021-12-15 14:35:54 2.12MB mysql java database influxdb
1
Kudu是Cloudera开源的新型列式存储系统,Apache Hadoop生态圈的顶级项目之一,解决了传统Lamda架构处理Hadoop上快速变化数据的存储和处理技术过于复杂的问题,同时Kudu能够与Hadoop生态的其他组件比如Impala、Spark、Flume和Kafka等组件集成,大大降低了对快速变化的数据进行准实时分析的架构设计和实现的门槛。本演讲主要对Kudu的动机、背景,以及架构进行简单介绍,并通过实际的应用场景介绍Impala+Kudu的组合实现通过SQL技术对快速变化的数据实现准实时分析的能力
2021-11-26 16:34:40 4.16MB Impala Kudu
1
spark操作kudu所依赖的官方jar包 写入,建表,删除表等。。
2021-11-23 15:23:41 9.35MB spark_kudu
1