Skip to main content

6.4.1更新日志

上线时间:2025-08-30

功能新增

【元数据】sparkthrift同步支持配置环境参数【上线版本:6.2】

背景:

sparkthrift类型数据源进行元数据周期同步时会提交spark任务去计算,如果用户同步库下的表数量很大的话,可能会造成任务的内存不足,但目前没有单独的参数可以调整。

功能:

进行元数据周期同步时,若选择sparkthrift类型数据源,在第一个步骤中增加“环境参数”配置,放在下方,可以配置环境参数,默认参数和质量模块(spark调参)展示内容保持统一。

img

【数据标准】数据标准支持查看绑定了哪些字段【上线版本:6.4】

背景:

通过数据模型建表绑定的标准和通过标准映射绑定的标准展示在数据地图-表详情中,但是从标准角度,无法查看一个标准被绑定了哪些字段。

功能:

标准列表中增加绑定字段的数据统计和下钻查看。

功能优化

【数据质量】数据质量规范性校验优化【上线版本:6.0】

背景:

目前规范性校验-字符串长度校验规则方法有歧义,取的是不符合规则的行数进行期望值对比,不符合实际使用场景。

功能:

1、规范性校验-字符串长度校验函数只能取固定值,校验逻辑修改为存在一个不符合的即校验不通过。

img

2、规范性校验中,字符串-最大长度、字符串最小长度保留,校验规则支持固定值、1天波动检测、7天波动检测、月度波动检测、7天平均值波动检测、月度平均值波动检测。

img