2022年12月更新日志
New Feature
【集群配置】DTscript Agent在选择标签后可支持指定端口【5.2】
【需求背景】现在集群中的计算组件dtscript agent的IP端口固定为22,客户的端口不是22,需要配置后才能使用。
【功能描述】将IP对应端口改成可配置的。
【集群配置】支持Hashdata、Starrocks引擎【5.3】
【集群配置】控制台支持高可用【5.3】
【需求背景】hive连接串需要支持zk方式,因为目前是单点的,不是很好,zk可以杜绝单点。
【功能描述】现在高可用只支持hivesever,inceptor。
【集群配置】Spark 3.2增加AQE相关参数【5.3】
【功能描述】添加在spark3.2版本的AQE分类中,且只在新集群中添加。
Improved
【集群配置】参数优化【5.3】
【需求描述】
- spark.dataLake.type改为下拉框,位置:位于计算组件中Spark 3.2中的DataLake分类中,其他两个版本spark没有这个参数,下拉框的可选参数[none、iceberg], 默认值为none
- classloader.resolve-order改为下拉框,位置:位于计算组件中Flink1.12或Flink1.10中的高级分类中,下拉框可选 ① parent-first ② child-first ③ child-first-cache (数据同步专用)。
注意 : 如果使用 child-first-cache,内部会自动设置 pipeline.operator-chaining : false 和 classloader.check-leaked-classloader : false ,以确保此参数生效。
Flink perjob 模式默认值 child-first
Flink Session 模式默认值 child-first-cache,child-first-cache只有Flink 1.12 生效。 数栈版本是 5.3 及以后,否则都默认是parent-first。
数栈5.3及以后的版本不能使用Flink1.10和1.8版本。
历史参数改动如下,历史集群:5.3迭代上线之前的集群
【集群配置】前端屏蔽计算组件Tony、Learning【5.3】
【需求背景】由于现在算法不再使用Tony、Learning,因此采用前端屏蔽方式,不再显示。如果之后需要使用,解除屏蔽即可。
【多集群管理】操作栏增加绑定租户按钮【5.3】
【需求背景】现在的租户入口不清晰,对客户的交互体验造成影响,所以增加绑定新租户的入口。
【功能描述】除了原有点击租户名称可进入租户界面之外,在操作栏中新增「绑定租户」操作以进入租户界面。