Skip to main content

2023年7月更新日志

New Feature​

【集群配置】支持对接OushuDB引擎【6.0】​

【功能描述】控制台支持：

  1. 集群管理-计算组件支持配置OushuDB引擎

  2. 绑定租户中支持Oushu数据库账号管控

  3. 支持子产品查询用户在OushuDB数据库中的表权限

【多集群管理】可配置每个租户在「离线开发」中临时查询的可输入的运行条数的上限【6.0】​

【背景介绍】「离线开发」中的临时查询可输入的运行条数目前没有限制，如果输入数字较大的时候，很容易导致查询速度过慢，以及大量数据一下被导出，影响信息安全。

【功能描述】

控制台新增「通用信息」tab和「select查询结果限制」设置功能，能够在其中设置：

  1. 在租户级别限制是否允许用户下载select查询结果

  2. 在允许的情况下，设置单次select下载数量限制

  3. 能够设置select查询条数上限

历史已经绑定集群的租户设置默认如下图所示。

新绑定的租户默认不允许下载select查询结果，且select查询条数查询上限默认为1000。

【功能描述】支持在控制台-集群配置中配置采集类型为NFS的k8s。

如下图，点击设置可进行配置NFS类型。

【调度】任务动态线程调整【6.0】​

【背景介绍】调度默认提交任务的线程数为3 正常情况下不会出现提交延迟的问题

在环境调整过集群参数或者任务执行时间比较短的情况下，会出现任务吃不满资源的情况，导致资源还有但是任务提交堵塞的问题，所以需要调整任务提交线程来解决提交阻塞的情况。

【功能描述】调度能够根据任务资源判断的结果来动态调整线程数。

Improved​

【全局参数】上季末、上年末支持YYYY-MM-DD格式【5.3】​

【功能描述】之前支持的上季末、上年末全局参数，除了支持YYYYMMDD格式之外，还支持YYYY-MM-DD格式，变量定义如下。

【全局参数】支持当季初的全局参数【5.3】​

【功能描述】变量定义如下：

【调度】提交任务时可用个人绑定的TBDS账号【6.0】​

【背景介绍】原本数栈提交任务的逻辑是一个租户下的所有数栈账号对应一个tbds账号来提交任务，但由于希望能更小颗粒度地对任务进行调度，以及更快地排查问题，所以需要支持一个数栈账号对应一个tbds账号来提交任务。

【功能描述】用TBDS账号任务的逻辑：

  1. 如果「用户管理」中提交任务的数栈账号有对应的TBDS账号信息，则用其对应的TBDS账号提交任务；
  2. 如果tbds账号信息为空，则走旧逻辑提交任务。

【调度】Hive 查询性能优化【5.3】​

【调度】任务优先级优化【6.0】​

【背景介绍】如果任务不出现异常（出错/延迟等），客户的集群资源一般是够的，能够正常跑任务，但如果客户的任务依赖树比较复杂，上游几个重要任务出现异常且修复耗时长，导致恢复后下游任务扎堆跑，那么就可能出现任务挤兑的情况，这时候优先级的设置作用会比较突出。

【功能描述】支持在基线管理中对任务设置1-5个级别的优先级，数值越大，任务运行的优先级越高。优先级越高的任务，在调度资源紧张的情况下，将优先获得调度资源。

为基线设置优先级后，基线上所有任务及其有效上游任务自动赋予该优先级。配置优先级后将会在T+1生成的周期实例中生效。