2025年10月更新日志
上线时间:2025-10
数据开发
SparkSQL3.5适配【7.0】
背景:Spark3.5支持更多特性包括自适应执行、向量化优化,对Paimon湖仓有更好支持。为提升平台性能与兼容性,满足客户在离线计算场景中对SparkSQL的最新特性需求,平台计算引擎SparkSQL3.5进行适配
功能:
1.计算引擎支持对接SparkSQL3.5版本,支持创建任务、周期运行、补数据等操作;
2.SparkSQL3.5支持对Paimon 1.2进行操作,包括DDL、DML、DQL语法
补数据实例日志实时打印时间戳【6.4】
背景:当前补数据实例的日志中缺少每条记录的时间戳,导致在排查问题时无法快速定位具体日志发生的时间点,影响故障分析效率
功能:在补数据实例执行过程中,平台对输出的每条日志增加时间戳,便于用户快速定位和分析问题

DMDB for MySQL支持一件生成目标表【6.3】
背景:当前配置数据同步任务时,当目标端为DMDB for MySQL时,用户需手动创建目标表并对字段类型进行逐一匹配,效率较低
功能:在数据同步任务中,当目标端选择DMDB for MySQL时,支持一键生成目标表功能

发布映射替换schema【6.3】
背景:离线测试和生产环境通常使用不同的数据源。目前平台仅支持对数据源配置映射,任务发布到生产时会直接替换同步任务中的数据源名称。但如果任务中引用了 schema,需要用户逐个手动替换,操作繁琐且容易出错
功能:一键发布功能支持在任务发布时自动替换同步任务中的 schema,简化操作流程,提高发布效率
