Skip to main content

2024年2月更新日志

上线时间：2024-2​

数据开发​

调度周期为自定义调度日期时，支持在任务中灵活设置天、时、分钟三种调度模式【6.0】​

背景：目前任务选择自定义调度周期时，仅可设置天调度实例的执行时间，无法根据自定义调度日历再去设置小时分钟调度，没办法灵活地满足客户的场景

功能：当选择的自定义调度周期为天日历时，可以进行实例批次的选择。选择“单批次”代表计划日期内仅可指定一个计划时间运行实例，选择“多批次”代表计划日期内可以指定多个计划时间运行实例。

例如，上传自定义调度日历，2023-12-21,2023-12-22,2023-12-24等日期为自定义调度日期。

选择单批次并指定具体时间为00时00分，则代表2023-12-21 00:00 , 2023-12-22 00:00,2023-12-24 00:00为调度计划时间。

img

选择多批次并填写时间

08:23
15:00
19:47

则代表2023-12-21 08:23 , 2023-12-21 15:00，2023-12-21 19:47， 2023-12-22 08:23 , 2023-12-22 15:00，2023-12-22 19:47，2023-12-23 08:23 , 2023-12-23 15:00，2023-12-23 19:47，为调度计划时间。

img

项目级Kerberos生效范围变更【5.3】​

背景：客户现在是用linux账号+sentry的方式进行权限管控，客户在底层设置好linux账号权限，使用Kerberos认证，确保只有经过Kerberos认证的用户才能访问Hadoop集群。

客户在数栈的用法，主要是将每个项目作为一个单元进行权限控制，通过项目级Kerberos认证去和底层的Linux账号去做关联。

目前项目层面在表查询数据预览是有缺陷的，项目级Kerberos认证无法管控到表查询数据预览的内容，客户希望能进行管控。

功能：数据同步、数据预览、SQL任务运行提交、本地数据上传，以上场景涉及到的Hadoop meta数据源，若在项目中和集群中都上传了Kerberos票据信息，将会使用项目级Kerberos票据信息进行校验。

img

创建项目时，项目支持不对接并且不创建Schema【6.0】​

背景：此前离线创建项目必须对接或者创建一个schema。但在很多应用场景中，用户的SQL开发任务都是在同一个Schema下，他们不想在自己的库里去创建很多无意义的Schema。

功能：在创建项目时，支持选择「不创建或对接Schema」

img

创建项目成功后，在编辑任务时，需要指定Schema

img

支持任务回收站【6.0】​

背景：原先，任务被删除后，用户将无法恢复。为提升容错机制，产品新增了回收站功能。用户可在回收站中查看已删除的周期任务、手动任务和临时查询，并选择恢复。 功能：新增「回收站」模块，在删除任务时可以选择「彻底删除」或「移至回收站」。「彻底删除」的任务将直接删除且不在回收站展示。「移至回收站」的任务可以在「回收站」中进行查看。

img

支持对回收站中的任务进行「还原」和「清空」操作

img

快捷键优化【6.0】​

快捷键选择栏支持中文

img

Hive脱敏改造，复杂查询生效【5.3】​

原脱敏功能存在问题，复杂查询不生效。现优化调整后，复杂查询的结果也会生效脱敏规则

数据同步​

支持iceberg0.13数据同步【5.3】​

运维中心​

上游任务存在下游依赖时禁止下线【6.0】​

背景：上游任务存在依赖时，应该不允许被下线，否则会影响下游任务运行。此前我们已经做了下线提示，但是这个力度是不够的，这种风险操作应该完全禁止。需要让用户自己手动取消依赖关系后，再进行下线操作。

功能：在下线时进行提示，隐藏下线入口。新增「复制」按钮，便于用户粘贴到文本框后依次取消依赖

img