6.0.0更新日志
上线时间:2023-02-15
功能新增
【5.3】监控数据变更
背景:客户希望某些场景发生数据变更的时候,希望支持对比前后不同时间的数据,比如需要对比昨天和今天不同分区的数据,此场景可以通过对接控制台自定义参数来满足。
功能:数据质量支持对接控制台自定义参数,涉及到质量的单表、多表的自定义SQL、过滤条件的地方都需要修改,支持点击直接复制参数。
【5.3】新增hashdata数据源管理
【已满足】:元数据管理、数据标准、数据质量
【未满足】:hashdataSQL解析及hashdata的meta数据源自动授权给资产,需要离线侧先上线hashdata数据源相应功能,资产在离线上线后下个版本支持
【5.3】新增StarRocks/Green Plum数据源自动授权
离线侧作为计算引擎引入,产生相应的meta数据源自动授权给数据资产做资产管理
【5.3】数据标准/词根导出(上线版本:5.3)
数据标准导出:支持数据标准按照目录批量导出,满足无平台权限部门线下对齐数据标准下发规范的需求
词根导出:支持词根按照目录批量导出,满足无平台权限部门线下对齐词根的规范需求
功能优化
【5.3】实时字段血缘优化
主要场景:
1、重合字段血缘生成场景:表级连接血缘已存在
2、上游的flink结果表字段→【映射的同一张mysql表,省略展示】→下游的flink源表字段
功能:
- 字段血缘新增上下钻,相当于根据表级血缘的关系,将多个任务的字段级血缘串联起来
- 默认只展示当前任务结果表的选中字段的一级上下游(之前只有上游,因为只解析当前任务,没有串联)。
- 如果上下游字段还有自身的上下游血缘,icon显示,点击继续上下钻一级
【source、sink的字段间重合关系从source、sink表之间的重合关系拿取,然后比对字段的重合关系】
【6.0】离线临时运行血缘优化
现状:离线临时运行的删除目前资产是有接口提供给离线解析的,其他不提交到调度的临时运行没有解析血缘
优化:离线血缘迁移至元数据中心,资产现在监听的是调度的实例运行表,但是现在存在部分sql(临时运行)是在离线本地运行并没有提交给调度的,需要资产同时监听离线这边的sql运行记录表
注意:目前资产为待联调状态,离线配合待数据地图迁移专项支持掉【暂不上线,迁移专项后上线】
体验优化
【5.2】部分搜索框补充模糊搜索
新增独立存储/任务关联的模糊搜索
【5.3】质量-规范校验-枚举值校验
1、枚举值校验为范围校验,不需要选择校验方法,固定值、波动值的选择都是不生效的,所以将校验方法选择去掉
2、?提示内容修改:多个枚举值之间用英文逗号隔开,填写样例:a,b,c
【5.3】部分前端页面UI升级
资产盘点
数据地图
元数据同步
元数据质量-完整度分析