Skip to main content

6.2.3更新日志

上线时间:2025-02-07

功能优化

【元数据】元数据周期同步中优化“同步状态”的展示逻辑【上线版本:5.2】

背景:

元数据同步模块针对同步任务的状态展示有歧义,任务的状态如果没有在跑的同步任务就是同步完成;实例状态未完成指的是同步结束但是有的表同步失败了,这样就导致会看到外层状态为“同步完成”,但是点开实例状态为“未完成”。

功能:

对任务实例状态进行优化调整:

1、任务实例中若存在部分同步失败的数据表(不是所有数据表都同步失败,还存在有同步成功的数据表),实例状态展示“同步完成”;

2、任务实例中若所有数据表均同步失败,实例状态展示“同步失败”;

3、任务实例中同步数据表为“0/0”(表示此任务实例中不存在需要同步的数据表),则实例状态展示“同步完成”。

【数据模型】审批流程优化【上线版本:6.2】

背景:

目前数据模型审批流程中,若数据开发角色提交审批、审批人驳回后,这个模型无法再编辑修改、只能重新配置新的表。

功能:

1、数据开发角色(非管理员角色)提交新建表的审批,审批人驳回或申请人自行撤回审批后,该模型支持编辑和修改;

2、若审批中心关闭流程,则不涉及审批功能,直接新增、编辑、删除成功,并不纳入审批记录。

【数据标准】词根删除逻辑优化【上线版本:5.2】

背景:

当前若词根被标准引用则不可删除,此限制会导致,用户先建标准、后建词根,后面新建的词根不可删除,会给用户造成疑惑。

功能:

词根删除/编辑无需判断是否有标准引用,只需要进行删除的二次确认即可。

img

【数据质量】编辑规则页面优化【上线版本:6.2】

功能:

对数据质量中编辑页面进行了交互上的优化。

【数据资产】数据地图查询性能优化【上线版本:5.2】

功能:

针对数据地图查询缓慢的问题进行了性能优化。

【数据资产】引导页面更新【上线版本:6.2】

功能:

引导页更新,新增数据治理和数据安全模块的体现。

img

【数据资产】数据接口竞态问题优化【上线版本:6.3】

背景:

竞态问题指用户短时间内重复地触发同一个动作产生多个异步请求,而由于请求的响应时延是不稳定的,可能会出现早发起的请求反而比晚发起的请求慢响应的情况,导致界面呈现效果出现混乱、重复、覆盖等异常。在资产中涉及到远程搜索的下拉框,数据源-库-表联动的下拉框场景会出现竞态问题,导致后端接口保存异常。比如选择A数据库后,又迅速切换为数据库B,则数据表的下拉列表可能为A库下的也可能为B库下的。

功能:

修复所有库表联动与远程搜索等场景的竞态问题;其次频繁的触发同一个接口时,需要abort之前未返回的请求,避免占用大量TCP链接。

【元数据】元数据同步中分区数量和存储计算逻辑优化【上线版本:5.3】

背景:

当表分区数量非常多时,元数据同步时获取表分区信息和存储量的时候会非常慢。

功能:

1、针对分区数量、分区存储、表行数、表存储,后置计算,先同步可以直接拿到的元数据信息更新到数据地图中,其他后置计算的信息等全部计算完成后再更新到数据地图上。另外针对hive类型数据源做元数据同步时,针对分区信息,记录下分区文件的更新时间,每次同步只同步对比上次更新时间发生变更的分区表信息,以及新增的分区信息。

2、同步内容提示内容更新(按照不同类型数据源进行区分)。

3、立即同步操作同步内容和设定的周期任务/临时任务同步内容保持一致。

【数据模型】数据模型建表取数据源逻辑优化【上线版本:5.3】

功能:

现有逻辑:在建表选择“写入数据源”时,只有当有数据表同步进资产,才能有schema信息;若无数据表同步进来,则无法查询到底层的db/Schama,进行建表操作。

调整逻辑:数据源的db/schema信息在建表时可自动获取,无需和元数据同步模块关联。对应选择数据源/数据库调整为两个选择框。

img