Skip to main content

6.1.4更新日志

上线时间:2024-01-08

功能新增

【元数据】支持tbds_hive类型数据源【上线版本:6.0】

功能说明:支持tbds_hive类型数据源,支持范围包括元数据同步、血缘分析、数据地图、元模型、元数据管理、元数据质量、资产盘点、数据安全(数据权限)。

【数据质量】数据表质量校验支持质量评分【上线版本:6.0】

功能说明:支持针对单表校验的表级质量报告分析,包含表质量评分、质量分值变化趋势、质量评估概览、近期规则校验异常明细、近期校验结果。质量概览页面新增针对单表校验下各个数据表的表级质量分排名。

image-20240116153940906

【数据质量】对接数据标准自动创建质量规则【上线版本:6.0】

背景:当出现数据质量的规范性校验和数据标准设定规则基本一致时,优化数据质量的规范性校验规则设计逻辑,支持与数据标准对接。

功能说明:数据质量创建规范性校验规则时支持对接数据标准自动创建质量规则,当数据质量规则--规范性规则创建时,若识别到选择的字段为绑定了标准的字段,支持选择是否引用标准规则,若选择引用标准规则,则会根据标准中定义的长度、精度、枚举个数、是否空值、是否重复自动生成质量校验规则。

image-20240116160203970

【数据质量】质量任务定时执行可以关联自定义调度周期【上线版本:5.3】

需求背景:在配置质量规则时,无法关联自定义调度周期进行质量任务的运行,导致需要个性化配置运行周期时无法满足;在质量任务运行过程中,存在一个质量任务运行时间过长的情况,中途无法停止导致无法释放资源。

功能说明:

1.质量规则创建时,在配置调度信息时支持关联自定义调度周期,修改模块包含新建/编辑单表校验规则、多表校验规则、规则集,查看规则详情; 2.质量规则创建后,在质量任务运行过程中支持中途停止操作。

image-20240116161049929

image-20240116161244335

【元数据】元数据管理优化,支持配置表生命周期【上线版本:5.3】

需求背景:目前没有基于数据源、数据库维度批量配置数据表生命周期的入口。

功能说明:元数据管理页面展示维度修改为数据源--数据库--数据表维度,支持基于数据源、数据库、数据表维度进行生命周期的批量配置。

image-20240116162357213

【元数据】支持记录每条sql解析出的血缘关系【上线版本:5.3】

功能说明:在数据地图--离线任务详情页面,支持对解析sql结果进行记录,包含sql语句、解析结果(成功/失败)、解析时间,针对解析成功的可查看此条sql对应的血缘关系图谱(只展示表级图谱),针对解析失败的可查看日志。

image-20240116170531043

【数据安全】数据脱敏支持对识别规则的优先级配置【上线版本:6.1】

功能说明:1.在配置脱敏规则--识别规则时,支持扩充匹配符的选择,新增“正则”、“包含”选项;

2.在配置脱敏规则时,支持定义识别规则的优先级,优先级高的进行优先匹配,若优先级冲突,默认按照最新配置的识别规则进行脱敏应用;

3.支持进行脱敏白名单的配置,存在于脱敏白名单内的数据表默认不进行脱敏操作。

image-20240116171243188

功能优化

【元数据】表行数、存储大小支持显示更新时间【上线版本:5.3】

背景:若表行数、存储大小为0,无法区分此表是空表还是没有同步表行数/存储大小,且有可能存在第一次同步了表行数/存储大小,第二次没有同步的情况,故需要记录下最近的更新时间

功能说明:数据地图-数据表详情中针对表行数、存储大小支持显示更新时间。

image-20240116154129221

【元数据】字段中文名支持修改【上线版本:5.3】

需求背景:目前数据地图中字段中文名、字段描述的取值逻辑是拿的建表语句中的comment字段,字段描述可修改,字段中文名也需要调整为可修改。

需求内容:数据地图--表详情页面针对字段中文名支持修改操作,支持单个修改/批量操作。

image-20240116161705320

【元数据】在编辑表的业务属性时需提示最大字符长度限制【上线版本:5.3】

需求背景:针对表的业务属性为string类型的默认长度为100,目前在编辑表的业务属性的时候没有长度提示,且默认长度较小,会存在某些业务场景长度超限的情况。

功能说明:针对业务属性为string类型的,默认值的最大长度为255字符,并且在编辑业务属性页面进行最大长度提示。

image-20240116164641640

【数据治理】治理工作台优化【上线版本:6.1】

功能说明:本次针对治理工作台进行优化,内容如下:

1.在进行问题指派处理人后,支持更改处理人;

2.若某一项问题数为0,点击治理项处理的时候不展示此tab;

3.通知信息的回显,可以在详情里面展示出来;

4.治理概览页面下方的“近期待治理项”列表名称修改为“近期治理项”。

【数据安全】数据权限配置优化【上线版本:6.0】

功能说明:1.行级权限配置页面优化;2.权限申请时支持对行级权限的申请。

BUGFIX

【元数据】建表语句格式优化【上线版本:5.3】

说明:若存在分区表,建表语句格式有问题,进行格式化展示优化。