Skip to main content

StreamWorks 6.4.6更新日志

发布时间:2026-04-02

新增

实时采集DMLogMNR支持日志采集【6.3】【标准版】

  • 背景:

    实时日志采集新增对达梦数据库的支持,完善了国产化数据源生态。随着达梦在国产化市场中占比不断提升,该功能有效满足了用户需求。相比传统的间隔轮询方式,现可实现秒级数据同步,并支持完整的数据变更追溯,为数据审计和合规要求提供可靠保障。

  • 说明:

    • 数据源DM For Mysql & DM For Oracle 支持通过实时采集日志采集的方式采集,写入结果表支持kafka。(目前仅支持Kafka结果表)

    • FLink版本:1.16版本

    • 任务类型新增:Logmnr 采集类型

    • 采集表支持手动选表,支持多表采集

    • 采集操作支持:Insert、Update、Delete

    • 格式转换:输出格式为Chunjun-Json格式

    • 任务运维:Metric信息、jobmanager日志、taskmanager日志、CP/SP、告警、脏数据

    • DM8版本,单机、主备(采集主节点)

      dm1.png

      dm2.png

FlinkSQL维表、结果表 Mysql数据源 Schema支持选择【6.3】【标准版】

  • 背景:

    FlinkSQL维表、结果表 Mysql数据源 Schema支持选择,减少数据源中心配置多个不同的Mysql数据源。

  • 说明:

    • FlinkSQL With参数中,通过配置schema-name参数支持

    • 历史FlinkSQL任务不存在schema-name字段保持不变通过URL中默认的schema使用

    • Flink版本:1.12、1.16

    • FlinkSQL范围:维表、结果表

    • DTCatalog模块同步修改

      mysql_schema1.png

实时任务发布包支持关联资源函数、热更新功能【7.0】【标准版】

  • 背景:

    为简化用户操作流程,优化打包发布功能:支持资源与函数关联打包、一键提交失败后可重试、运行中任务自动停止再启动(兼容Flink 1.16热更新与1.12手动停止差异)、清晰展示目标项目绑定状态、增加环境参数一键更新按钮,并统一界面交互(如导入导出时回显描述、刷新按钮位置一致)。

  • 说明:

    • 打包任务时需支持将资源、函数一起关联打包,通过任务找到关联的资源和函数进行选择打包。

    • “一键提交”操作失败后,支持再次“一键提交”操作

    • 如果任务状态在“运行中”进行一键提交操作,平台需支持直接停止任务再启动任务(目前平台中任务在yarn运行时无法直接一键提交,需用户先手动停掉。这里需要考虑1.16支持热更新,1.12不支持)

    • 发布到目标项目修改,未绑定时展示:(未绑定目标项目)。选择后显示绑定的目标项目:${租户}/${项目}

    • 支持一键选择,更新环境参数按钮

    • 支持资源和函数的导入更新覆盖原资源函数-同名情况(已支持)

    • 导入导出发布包-导入时回显创建时的描述,存在则回显

    • 一键发布、导入导出页面刷新按钮位置保持一致

      关联打包1.png

数据开发-版本对比支持当前版本对比【7.0】【标准版】

  • 背景:

    为增强任务版本管理能力,需在FlinkSQL(向导/脚本)和实时采集(脚本)任务中,支持当前与历史版本的代码、源表、维表、结果表及环境参数的差异对比与逐项插入;移除历史版本页的回滚按钮,统一在版本对比页提供“回滚至此版本”功能,并优化对比展示UI,实现一键覆盖当前任务。

  • 说明:

    • 当前版本优化范围:数据开发-FLinkSQL类型任务(向导、脚本模式)、实时采集类型(脚本模式)

    • 针对当前版本和历史版本的对比,SQL支持代码、源表、维表、结果表、环境参数的版本差异对比展示。采集模式支持代码、环境参数的版本差异对比展示。

    • FLinkSQL类型任务(向导、脚本模式)、实时采集类型(脚本模式)支持版本差异点逐个插入。

    • 移除历史版本页面版本回滚按钮,版本对比增加版本回滚按钮,支持历史版本一键回滚覆盖当前的任务。

    • 版本对比展示参数UI重新修改。在版本对比页面增加回滚至此版本。

      对比2.png

优化

数据开发-深色主题支持【7.0】【标准版】

  • 背景:

    提升数据开发页面体验性优化

  • 说明:

    • 主题版本支持深色、高对比深色切换展示。
    • 产品功能不受影响,仅对页面的按钮和展示颜色进行相对应的优化

实时采集-支持来源、目标配置高级参数【7.0】【标准版】

  • 背景:

    产品使用过程遇到的问题,目前需要通过转脚本支持。产品上应增加自定义参数或者配置参数的方式。

  • 说明:

    • 实时采集任务类型,全部数据源,对于来源、目标支持配置高级参数配置,通过以Json键值对方式写入Parameter。

      高级参数1.png

审计日志优化动作类型【6.2】【标准版】

  • 背景:

    补充实时相关页面审计日志动作类型,增加更多的监控动作。

  • 说明:

    • 操作对象:创建任务、克隆任务、编辑任务、删除任务、任务提交调度、任务调试、任务执行

    • 操作对象:任务提交运行、任务下线、任务重跑、任务续跑、任务停止、任务手动绑定

    • 操作对象:编辑项目名称

      审计日志1.png