Skip to main content

2023年10月更新日志

New Feature

Trino资源组支持通过绑定用户组的方式实现资源管理【5.3】

【背景介绍】Trino任务能够通过资源组的方式,来管控每个租户下的Trino任务占用的资源。

【功能描述】

为底层对接了Ldap的集群,配置完成Trino计算组件之后,用户能够在【多集群管理】-【资源管理】界面管理Trino资源组,从而管控Trino任务运行时使用的资源组。Trino资源组最多可以分三级,最底层一级才能进行授权。

在资源管理中只能Trino资源组进行授权/取消授权操作。如果要新增/编辑/删除资源组,需要到EM进行操作。

trino配置

列表的字段含义如下:

字段名字段含义
资源组在Trino中,资源队列是指一个逻辑上的容器,可以用来管理集群中运行的应用程序。每个队列都有自己的资源配额和优先级,可以方便地进行应用程序调度和资源管理。
资源队列未对Yarn集群进行资源分配时,默认只有一个default队列,所有资源均分配给default队列,即:最小容量100%、最大容量100%、剩余容量为空、可用CPU及内存为Yarn集群总CPU内存。
可分配剩余容量Trino总的剩余容量
最小容量0%<一级资源组最小容量总和<=100%,
0%<二级资源组最小容量和<=100% 最大容量即一级资源组内存,
三级资源组同上,容量设置为正整数
最大容量最小容量=<最大容量<=100%,正整数
最小配置内存(MB)最小容量*总内存
CPU时间片(ms)每个时间段内的 CPU 使用配额,单位为毫秒,正整数

点击「授权用户组」,进入「资源组授权」界面,查看该资源组已经授权的租户下的用户组。

trino资源组授权

点击「添加授权用户组」,出现弹窗,选择完成并点击「确定」后即可添加授权的用户组。

点击操作中的「取消授权」,出现二次确认弹窗,点击「确定」后出现任务资源组交接弹窗,将要取消授权的用户组下的任务交接给新的用户组,确保任务能够正常运行。

取消授权交接弹窗

tip
  1. 在配置对接了Ldap的集群底层的Trino组件时,要确保配置中的username的Ldap账户在用户组中,否则可能会导致配置失败;
  2. 只有对接了Ldap的集群才能看到Trino的资源管理界面;
  3. 数栈的Trino任务根据依赖的配置分为两种,一种是基于Trino数据源(数据源中心配置的外部数据源),另一种是基于控制台配置的Trino计算组件。本次资源组管控的Trino任务为后者。
  4. 建议在用户组授权的时候,每个租户下只有一个用户组进行集中授权,防止出现两个用户组有资源授权关系的时候,用户更换所在的用户组而导致问题。

Dtscript Agent权限管控【6.0】

【背景介绍】目前跑shell on agent或者python on agent类型的任务的时候,能够选择在底层配置的所有节点标签和服务器用户。出于安全性考虑,需要增加对节点标签和服务器用户的权限管控。

本功能支持用户在【控制台】-【资源管理】中通过管理节点标签及其对应的服务器用户授权给项目,来管控项目中shell on agent或者python on agent类型的任务运行时使用的资源。

离线配置agent任务

【功能介绍】

Dtscript Agent配置的流程如下图所示:

![Dtscript Agent配置流程图](assets/images/Dtscript Agent配置流程图.png)

一、EM配置

EM配置部分详细可见【离线开发】-【周期任务】-【任务类型】的Shell on Agent部分内容。

二、控制台配置Dtscript Agent计算组件

在控制台增加Dtscript Agent计算组件,配置好agentAddress之后,点击「查看节点和ip对应关系」。

![Dtscript Agent计算组件](assets/images/Dtscript Agent计算组件.png)

点击后出现如下弹窗,配置集群的ip以及节点标签下的服务器用户。节点标签从底层EM的配置中读取。

默认节点标签:可选择配置的任一节点标签,选择后该节点标签下的所有服务器用户默认授权给此集群上的所有租户下的离线开发下的所有项目。

如果选择「无」,则集群无默认节点标签。

服务器用户配置:在对应的节点标签下配置服务器用户。

节点标签配置

已经配置好的服务器用户如果要修改用户名或者直接删除,点击「确定」后会出现交接的提示弹窗。

弹窗中会展示变更的服务器用户已经授权的项目,用户确认变更之后这些项目会交接给所在租户下的默认节点标签下的默认服务器用户。

交接弹窗

tip

「agentAddress」修改之后,「查看节点和ip对应关系」弹窗中的配置会自动刷新,在弹窗中配置完成并点击「确认」之后,要在计算组件界面点击「保存Dtscript Agent组件」进行保存,否则agentAddress还是修改之前的,但弹窗配置已经更新为最新的了。

三、绑定租户

配置好Dtscript Agent计算组件之后,可进入【多集群管理】-【绑定租户】界面,将租户绑定到集群上。

绑定租户1

点击「绑定新租户」,出现弹窗。选择租户和要绑定的集群后,出现租户的默认资源组选择框。

如果集群配置了Dtscript Agent计算组件,则会要求选择「默认节点标签」和「默认服务器用户」。租户的默认节点标签和默认服务器用户会自动授权给该租户下的所有项目。

绑定租户2

四、资源管理

在【多集群管理】-【资源管理】界面,可以看到目前集群已经配置的节点标签和对应的服务器用户。

资源管理dt

点击「授权项目」,进入「资源组授权」界面,可以看到该节点标签下的所有服务器用户的授权情况。

资源组授权dt

  1. 添加授权

    点击「添加授权项目」,可选择将当前节点下的服务器用户授权给当前集群上已经绑定的租户的项目。

    「服务器用户」和「项目」都支持多选。

    添加授权dt

  2. 取消授权

    点击「取消授权」,出现「取消授权」二次确认弹窗。

    取消授权dt

    点击「确认」后,需要选择要取消授权的「原服务器用户」,交接要被「取消授权」的服务器用户下的授权项目的「目标节点标签」和「目标服务器用户」。

    交接弹窗dt

五、任务选择资源组

在离线中运行shell on agent或者python on agent类型的任务的时候,能够选择到已经授权给该项目所在租户的节点标签和服务器用户,如果不选择,则会用租户默认节点标签和服务器用户运行任务。

离线配置agent任务

Improved

Trino SQL下载查询结果数据速度优化【5.3】

Bugfix

Hadoop2.8.5以及3.2.1版本官方披露的安全漏洞修复

Spark兼容Hive serde为MultiDelimitSerDe,修复了部分表看不到字段信息的问题