flink-kafka-hbase
功能：实现kafka消息实时落地hbase，支持csv/json字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能)
支持at least once语义
外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心
配置：
{
"indexColumnMapping": { --indexColumnMapping即CSV格式消息的key和value按照value里的分隔符拼接后再分割后下标及写入hbase列的对应关系
"0": "basic:time", --第0列始终是kafka消息的key，如果不需要可以不指定
"1": "basic:user_id",
2023-01-30 14:24:41
35KB
1
Apollo开源地址：
https://github.com/ctripcorp/apollo
第一步
将项目clone到本地，然后在github的releases页面中下载三个zip文件
本文中重点讲解截止2019年1月最新的1.2.0版本的部署方法
第二步
打开clone到本地的项目，目录结构如下
第三步
在此目录下创建docker-compose.yml文件，写入内容：
version: 3
services:
apollo-configservice: ##容器服务名
container_name: apollo-configser
2021-10-14 14:45:46
374KB
1