Skip to main content

2023年4月更新日志

上线时间：2023-04-20​

产品整体​

离线开发子产品logo和名称支持通过业务中心进行配置（上线版本：V6.0）​

1、离线开发的浏览器标签页logo

img

2、离线开发的页面logo、名称

img

3、切换菜单中的logo、名称

img

4、loading页面

img

以上四个位置的logo和名称支持在业务中心「页面配置」中进行配置。

img

img

首屏打开加载优化（上线版本：V5.3）​

运行任务时切换菜单，不会停止正在执行的任务（上线版本：V5.3）​

优化前：在「数据开发」菜单中临时运行任务后，切换到其他菜单，运行的任务将会停止。

优化后：切换到其他菜单，运行的任务不会停止。

img

表生命周期逻辑优化（上线版本：V6.0）​

优化前

分区表：当前日期 - 当前分区的数据最后更新时间 > 生命周期，则删除该分区。表的所有分区删除后表的元数据信息保留不删除；

非分区表：当前日期 - 表的数据最后更新时间 > 生命周期，则清空表中数据。表的元数据信息保留不删除；

缺点：如果客户有大量短生命周期的表（如酷家乐有很多生命周期在1-2天的tmp表），生命周期到期后表元数据信息不删除，导致元数据中心有大量的tmp表，元数据查询性能受影响、数据同步的表等需要查询表信息的地方会有大量不必要的内容存在。

优化后

分区表：当前日期 - 当前分区的数据最后更新时间 > 生命周期，则删除该分区。表的所有分区删除后表的元数据信息删除；

非分区表：当前日期 - 表的数据最后更新时间 > 生命周期，则清空表中数据。表的元数据信息删除；

数据源​

离线删除项目后对应的meta数据源在业务中心和资产也进行删除（上线版本：V5.3）​

离线删除项目后，对meta数据源的处理如下：

一、数据源中心的数据源去除meta标签

img

二、数据资产删除对应的meta数据源

数据开发​

表查询中表的「搜索ICON」可点击触发查询（上线版本：V5.3）​

img

虚节点支持配置上游依赖（上线版本：V6.0）​

资源支持版本管理（上线版本：V5.3）​

资源版本支持记录资源最近的十个版本，支持对版本资源进行「回滚至此版本」「下载」「删除」操作。

img

当数据同步任务的字段发生变化时，可通知字段的变化及影响的任务信息（上线版本：V5.3）​

数据同步中新增元数据校验高级参数“metadataCheck”，当值为“true”时，对于数据同步任务的临时运行/周期实例运行/补数据实例运行/手动实例运行前检查源表或目标表的表结构是否发生变更（字段增加、字段减少、字段类型变更），如果有变更则实例状态变为提交失败，并会在日志中打印变更内容。

如果任务配置了告警规则，且触发条件是“失败”时，则会在告警中打印失败原因和字段变动情况。

临时查询支持HashData、StarRocks（上线版本：V5.3）​

支持给任务打标签、补数据和告警可按标签进行筛选（上线版本：V5.3）​

背景：客户期望可以给任务打标签，比如给部分任务打上“合同”的标签，给部分任务打上“客商”的标签。可以按标签去执行运维操作，例如：补数据、告警。

功能：在数据开发页面，支持创建标签和给任务指定标签。并在运维中心进行补数据和告警配置操作时，支持以标签为维度进行任务配置。

img

img​

img

工作流优化（上线版本：V5.3）​

1、工作流样式优化

2、工作流子节点新增运行方式：运行当前节点、从当前节点开始运行和运行至当前节点

3、工作流支持圈选，圈选后新增运行方式：运行至选中节点、从选中节点开始运行

img

img

运行历史的日志支持下载（上线版本：V5.3）​

img

离线支持代码检查规则（上线版本：V5.3）​

在「数据资产->数据治理」中可以开启或新增代码检查规则。img

在「离线开发->项目管理->操作设置」中支持开启代码规则和选择生效范围，目前仅支持创建Hive SQL、Spark SQL、Impala SQL、Inceptor SQL四种任务的代码检查规则。

imgimg开启规则后，在IDE界面中可以手动进行SQL规范性检查，在日志中打印检查结果。任务运行和提交时也会进行SQL规范性检查。

img

任务保存支持版本管理（上线版本：V5.3）​

1、增加保存版本的版本记录，记录未提交仅保存的内容；img

2、在发生异常/系统自动登出时会自动保存，并在用户重新登录时进行提示；

img

任务目录支持自定义排序（上线版本：V5.3）​

在「项目管理->操作设置」中支持开启自定义目录排序，可以自由拖动任务、临时查询、资源、函数、组件、标签和文件夹改变目标结构；关闭自定义目录排序后，任务和文件夹按默认方式排序（名称首字母排序），禁止自由拖动。

img

Inceptor sql运行时支持用数栈账号绑定的Idap账号进行任务提交的用户认证，并在guardian进行权限校验（上线版本：V5.3）​

用户使用数栈账号登录，UIC绑定Idap账号，由tdh自己的guardian（类似ranger）实现权限策略的配置，数栈关闭web层权限管控，所有的权限判断经过guardian策略，使用idap账号登录guardian提交任务。在如图所示位置配置guadian的代理地址。

img

GP表查询优化（上线版本：V5.3）​

1、可查看的表的范围为资产中已经元数据同步过的所有schema的所有表

2、元数据实时刷新

img

数据同步​

TiDB、GaussDB、GreenPlum作为数据源的数据同步任务配置时支持选择Schema（上线版本：V5.3）​

MySQL同步Sharding-Proxy插件支持向导模式读取（上线版本：V5.3）​

数据同步支持OceanBase读取和写入（上线版本：V5.3）​

运维中心​

数据同步周期实例指标展示优化（上线版本：V5.3）​

前端样式优化

img

运维中心异常树构建（上线版本：V6.0）​

背景：

当实例在提交和运行过程中出现异常情况，无法直观地进行原因分析，比如

1、当前实例一直处于等待提交状态没有按计划时间开始运行，是哪个或哪些上游出现异常导致的？

2、当前实例运行失败或超时，会影响哪些下游实例？

异常树构建能够很好地解决以上的问题

功能：

1、在实例调度流程中，上游依赖检查中，如果”上游依赖中存在异常“，将会打印出所有阻塞实例信息（所属租户、所属项目、所属产品、责任人、状态）。

2、实例调度流程展示流程完成日期和时间。

3、实例依赖视图展示当前实例的定位。

img

运维中心样式改造（上线版本：V5.3）​

前端样式优化

img

项目管理​

ddl操作管控支持的SQL类型完善（上线版本：V6.0）​

完善后支持所有任务类型SQL语句的ddl操作管控。

img​