2025年6月更新日志
上线时间:2025-6
数据开发
Doris SQL任务支持切换计算引擎【6.3】
背景:为方便管理业务数据,有些用户会用两套集群分别用来建设数据仓库、存放应用数据。数据开发需要按照业务场景把任务放到不同集群上运行。
功能:离线内数据开发相关功能适配多集群,范围包括以下内容
1.离线项目内支持对接控制台内多个Doris集群
2.在Doris SQL任务中可以切换集群提交运行
3.表查询支持查看对接了不同Doris集群中表的数据
4.项目层面支持对不同集群分别绑定数据库账号密码
5.测试项目任务发布到生产项目,支持配置doris引擎两个项目间的映射关系


支持读写AWS S3内的数据【6.3】
离线数据同步任务、Spark任务、PySpark任务、Spark SQL任务、Hive SQL任务已适配AWS S3底座
数据同步插件优化【6.3】
背景:数据同步sink端涉及到ftp/hdfs文件存储系统的数据源,在任务出错重试后结果表内没有数据
功能:同步插件优化,保证任务出错重试后可以正常写入数据