梳理Informatic的元数据，理清ETL背后的数据加工流水线基础数据，基于SQL析可以获取目标表依赖的源表和映射，然后基于映射可以追溯到相应的会话、工作集、工作流，完成整个数据加工链的血缘
2024-07-08 15:57:24
124KB
1
血缘关系解析工具源码_对hql集合进行静态分析_获取hql对应的血缘图
2022-02-24 18:03:02
390KB
血缘关系解析工具源码_对hql集合进行静态分析_获取hql对应的血缘图
2022-02-16 19:02:17
390KB
HiveSqlBloodFigure
如果你喜欢这个项目，那就点击一下右上方的【Star】以及【Fork】，支持一下我，让我有动力持续更新！
项目介绍
在数据仓库建设中，经常会使用到数据血缘追中方面的功能，本项目实现了对hql集合进行静态分析，获取hql对应的血缘图（表血缘 + 字段血缘）
项目升级内容
删除hive-exec与hadoop-common的maven依赖，使得项目更加的轻量级。
重构项目代码，优化解析，修复无字段血缘时，不能获取表血缘的BUG。
规范化接口输入输出，血缘图均为自定义实体，方便进行JSON序列化。
新增接口层，方便Spring的注入，同时也提供静态方式调用。
下个版本升级内容
引入JDBC获取元数据信息，使血缘图更加丰富，同时可以解决Sql中有select * 的问题。
测试用例
请关注test下的HiveBloodEngineTest与HiveSqlBloo
2021-08-19 11:26:56
393KB
1
包版本
hadoop.version 3.0.0
hbase.version 2.1.0
solr.version 7.4.0
hive.version 3.1.0
kafka.version 2.2.1
zookeeper.version 3.4.5
2021-01-28 04:21:34
366.11MB
1