Skip to main content

2025年6月更新日志

上线时间:2025-6

数据开发

Doris SQL任务支持切换计算引擎【6.3】

背景:为方便管理业务数据,有些用户会用两套集群分别用来建设数据仓库、存放应用数据。数据开发需要按照业务场景把任务放到不同集群上运行。

功能:离线内数据开发相关功能适配多集群,范围包括以下内容

1.离线项目内支持对接控制台内多个Doris集群

2.在Doris SQL任务中可以切换集群提交运行

3.表查询支持查看对接了不同Doris集群中表的数据

4.项目层面支持对不同集群分别绑定数据库账号密码

5.测试项目任务发布到生产项目,支持配置doris引擎两个项目间的映射关系

img

img

支持读写AWS S3内的数据【6.3】

离线数据同步任务、Spark任务、PySpark任务、Spark SQL任务、Hive SQL任务已适配AWS S3底座

数据同步插件优化【6.3】

背景:数据同步sink端涉及到ftp/hdfs文件存储系统的数据源,在任务出错重试后结果表内没有数据

功能:同步插件优化,保证任务出错重试后可以正常写入数据