flink-kafka-hbase
功能：实现kafka消息实时落地hbase，支持csv/json字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能)
支持at least once语义
外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心
配置：
{
"indexColumnMapping": { --indexColumnMapping即CSV格式消息的key和value按照value里的分隔符拼接后再分割后下标及写入hbase列的对应关系
"0": "basic:time", --第0列始终是kafka消息的key，如果不需要可以不指定
"1": "basic:user_id",
2023-01-30 14:24:41
35KB
1
出现此问题时使用：java.lang.NullPointerException
at org.json.JSONObject.(JSONObject.java:144)
at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43)
at org.apache.sqoop.SqoopOptions.writeProperties(SqoopOptions.java:784)
at org.apache.sqoop.mapreduce.JobBase.putSqoopOptionsToConfiguration(JobBase.java:392)
at org.apache.sqoop.mapreduce.JobBase.createJob(JobBase.java:378)
at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:256)
at org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:748)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
2023-01-05 11:51:26
80KB
1
hbase的Rowkey设计⽅案 1.1 hbase的概述 的概述 HBase由于其存储和读写的⾼性能，在OLAP即时分析中越来越发挥重要的作⽤。作为Nosql数据库的⼀员，HBase查询只能通过其 Rowkey来查询(Rowkey⽤来表⽰唯⼀⼀⾏记录)，Rowkey设计的优劣直接影响读写性能。 由于HBase是通过Rowkey查询的，⼀般Rowkey上都会存⼀些⽐较关键的检索信息，我们需要提前想好数据具体需要如何查询，根据查询 ⽅式进⾏数据存储格式的设计，要避免做全表扫描，因为效率特别低。 此外易观⽅⾈也使⽤HBase做⽤户画像的标签存储⽅案，存储每个app的⽤户的⼈⼝学属性和商业属性等标签信息。 HBase中设计有MemStore和BlockCache，分别对应列族/Store级别的写⼊缓存，和RegionServer级别的读取缓存。如果RowKey过 长，缓存中存储数据的密度就会降低，影响数据落地或查询效率。 1.2 hbase的设计原则以及解决⽅法 的设计原则以及解决⽅法 1.3 预分区 预分区 1.3.1 什么是预分区 什么是预分区 HBase表在刚刚被创建时，只有1个分区（
2022-12-26 19:16:20
332KB
1
第一部分、详细介绍了分布式数据库和Hbase的发展由来，基本原理，应用场景。第二部分，对Hbase进行基本的概述，主要介绍其中基本原理，第三部分对Hbase的技术进行详解，包括关键成员和技术优化。第四部分，通过一个小的java api案例，介绍Hbase的开发使用，详细分析hbase的应用场景和优化方式。
2022-12-25 18:59:01
5.76MB
1
通过HBase、Hive、MySQL和Python的联合使用，对弹幕数据进行了基础的分析，文章适合大数据的初学者用于提升和进一步系统地认识。
2022-12-10 22:24:22
5.63MB
1
该文件为hbase hbck2 jar；适用于hbase 2.x维护，hbase 1.x不适用；
对于HBase跨集群HD集群迁移，当HDFS文件迁移后，使用HBCK客户端，完成HBase元数据修复。
当前版本：hbase-hbck2-1.3.0.jar
hbase hbck -j /opt/software/hbase-hbck2-1.3.0-SNAPSHOT.jar
2022-12-01 09:24:41
74.42MB
1