StreamWorks 6.4.6更新日志
发布时间:2026-04-02
新增
实时采集DMLogMNR支持日志采集【6.3】【标准版】
背景:
实时日志采集新增对达梦数据库的支持,完善了国产化数据源生态。随着达梦在国产化市场中占比不断提升,该功能有效满足了用户需求。相比传统的间隔轮询方式,现可实现秒级数据同步,并支持完整的数据变更追溯,为数据审计和合规要求提供可靠保障。
说明:
数据源DM For Mysql & DM For Oracle 支持通过实时采集日志采集的方式采集,写入结果表支持kafka。(目前仅支持Kafka结果表)
FLink版本:1.16版本
任务类型新增:Logmnr 采集类型
采集表支持手动选表,支持多表采集
采集操作支持:Insert、Update、Delete
格式转换:输出格式为Chunjun-Json格式
任务运维:Metric信息、jobmanager日志、taskmanager日志、CP/SP、告警、脏数据
DM8版本,单机、主备(采集主节点)


FlinkSQL维表、结果表 Mysql数据源 Schema支持选择【6.3】【标准版】
背景:
FlinkSQL维表、结果表 Mysql数据源 Schema支持选择,减少数据源中心配置多个不同的Mysql数据源。
说明:
FlinkSQL With参数中,通过配置schema-name参数支持
历史FlinkSQL任务不存在schema-name字段保持不变通过URL中默认的schema使用
Flink版本:1.12、1.16
FlinkSQL范围:维表、结果表
DTCatalog模块同步修改

实时任务发布包支持关联资源函数、热更新功能【7.0】【标准版】
背景:
为简化用户操作流程,优化打包发布功能:支持资源与函数关联打包、一键提交失败后可重试、运行中任务自动停止再启动(兼容Flink 1.16热更新与1.12手动停止差异)、清晰展示目标项目绑定状态、增加环境参数一键更新按钮,并统一界面交互(如导入导出时回显描述、刷新按钮位置一致)。
说明:
打包任务时需支持将资源、函数一起关联打包,通过任务找到关联的资源和函数进行选择打包。
“一键提交”操作失败后,支持再次“一键提交”操作
如果任务状态在“运行中”进行一键提交操作,平台需支持直接停止任务再启动任务(目前平台中任务在yarn运行时无法直接一键提交,需用户先手动停掉。这里需要考虑1.16支持热更新,1.12不支持)
发布到目标项目修改,未绑定时展示:(未绑定目标项目)。选择后显示绑定的目标项目:${租户}/${项目}
支持一键选择,更新环境参数按钮
支持资源和函数的导入更新覆盖原资源函数-同名情况(已支持)
导入导出发布包-导入时回显创建时的描述,存在则回显
一键发布、导入导出页面刷新按钮位置保持一致

数据开发-版本对比支持当前版本对比【7.0】【标准版】
背景:
为增强任务版本管理能力,需在FlinkSQL(向导/脚本)和实时采集(脚本)任务中,支持当前与历史版本的代码、源表、维表、结果表及环境参数的差异对比与逐项插入;移除历史版本页的回滚按钮,统一在版本对比页提供“回滚至此版本”功能,并优化对比展示UI,实现一键覆盖当前任务。
说明:
当前版本优化范围:数据开发-FLinkSQL类型任务(向导、脚本模式)、实时采集类型(脚本模式)
针对当前版本和历史版本的对比,SQL支持代码、源表、维表、结果表、环境参数的版本差异对比展示。采集模式支持代码、环境参数的版本差异对比展示。
FLinkSQL类型任务(向导、脚本模式)、实时采集类型(脚本模式)支持版本差异点逐个插入。
移除历史版本页面版本回滚按钮,版本对比增加版本回滚按钮,支持历史版本一键回滚覆盖当前的任务。
版本对比展示参数UI重新修改。在版本对比页面增加回滚至此版本。

优化
数据开发-深色主题支持【7.0】【标准版】
背景:
提升数据开发页面体验性优化
说明:
- 主题版本支持深色、高对比深色切换展示。
- 产品功能不受影响,仅对页面的按钮和展示颜色进行相对应的优化
实时采集-支持来源、目标配置高级参数【7.0】【标准版】
背景:
产品使用过程遇到的问题,目前需要通过转脚本支持。产品上应增加自定义参数或者配置参数的方式。
说明:
实时采集任务类型,全部数据源,对于来源、目标支持配置高级参数配置,通过以Json键值对方式写入Parameter。

审计日志优化动作类型【6.2】【标准版】
背景:
补充实时相关页面审计日志动作类型,增加更多的监控动作。
说明:
操作对象:创建任务、克隆任务、编辑任务、删除任务、任务提交调度、任务调试、任务执行
操作对象:任务提交运行、任务下线、任务重跑、任务续跑、任务停止、任务手动绑定
操作对象:编辑项目名称
