血缘关系
该模块通过展示实时任务的血缘关系,直观地发现数据在实时链路中的流转关系。
该功能专业版、旗舰版支持
解析能力
实时采集任务
通过解析实时采集任务的JSON信息,得到血缘关系。不限制向导模式/脚本模式、不限制源端/目标端数据源类型。
比如一张MySQL的TableA,通过实时采集任务T,写到一个Kafka的TopicA中。就会得到一个【TableA—>任务T—>TopicA】的血缘链路。
FlinkSQL任务
通过解析FlinkSQL任务的SQL信息,得到血缘关系。不限制向导模式/脚本模式、不限制源表/维表/结果表数据源类型。
比如
Insert into A as select * from B join C on B.id=C.id
一段FlinkSQL,可以解析【B+C—>A】的血缘链路。全链路血缘
在上诉两个解析能力的基础上,血缘图谱会自动拼接起实时采集—>FlinkSQL开发的全链路血缘。举个例子:
MySQL Table A——>实时采集任务——>Kafka Topic B——>Flink Table C——>FlinkSQL任务——>Flink Table D——>HBase Table E
字段级血缘
- 仅FlinkSQL任务支持字段级血缘,暂未支持实时采集任务
- 如果在上下游任务中映射的Flink表名、字段名相同(如A任务的Flink结果表表名=B任务的Flink源表表名),则会自动链接上下游字段关系。作为表级血缘信息的补充,建议和表级血缘结合起来一起分析。
图谱交互
解析时机:任务提交至调度执行时解析血缘。(仅在数据开发页面保存/提交,不触发解析)
图谱操作:
节点过滤:支持只查看任务节点;支持过滤掉映射表节点;支持过滤掉视图节点
支持搜索:支持模糊匹配表名、任务名;
节点状态:点击任务节点可以查看任务状态的缩略信息;
节点数据源:点击任务节点可以查看任务节点数据源信息;
血缘上下钻:默认只展示当前任务的一级上下游表血缘,如果有更深的血缘链路,支持点击展开。(平台会自动拼接所有实时采集、FlinkSQL任务的关系节点)
展开前:
展开后:
字段血缘选取:因为表的字段数量可能非常多,图谱中只会展示选中字段的血缘关系,不会把所有字段血缘全部展示。对于存在血缘的字段,在字段名前有icon区分。
图谱整体操作:支持鼠标左键按住图谱区域,拖拉展示范围。支持快速居中、放大、缩小、下载、全屏等操作。右下方显示完整图谱的缩略图,支持通过缩略图中的选择框,框选显示范围。