flink-kafka-hbase
功能:实现kafka消息实时落地hbase,支持csv/json字符串两种格式的消息,支持自定义组合rowkey,列簇和列名,支持按照kafka消息流中不同字段join不同的hbase表,并自定义写入列簇和列(join时需评估一下性能)
支持at least once语义
外部依赖:apollo配置中心,本项目依靠配置驱动,配置存储在apollo配置中心
配置:
{
"indexColumnMapping": { --indexColumnMapping即CSV格式消息的key和value按照value里的分隔符拼接后再分割后下标及写入hbase列的对应关系
"0": "basic:time", --第0列始终是kafka消息的key,如果不需要可以不指定
"1": "basic:user_id",
1