Skip to main content

StreamWorks 6.3.6更新日志

发布时间：2025-05-14​

新增​

实时存储组件支持S3【6.3】【标准版】​

  • 背景：产品交付时，实时任务的运维日志、CheckPoint 和 Savepoint 存储组件支持 S3 存储。
  • 说明：
    • 支持将日志、CheckPoint 和 Savepoint 存储至 S3。

Kafka3.x支持SASL_PLAIN认证方式【6.3】【标准版】​

  • 背景：产品交付需求：支持 Kafka 3.x 的 SASL_PLAIN 认证方式。
  • 说明：
    • 支持开启 SASL_PLAIN 认证方式。
    • 支持 FlinkSQL 1.16 版本作为源表和结果表。
    • 支持实时采集 1.16 版本作为来源表和目标表。

项目发布支持一键发布功能【6.3】【标准版】​

  • 背景：当测试项目和生产项目处于同一套数栈时，可将测试项目与生产项目绑定，通过一键发布功能完成发布操作。
  • 说明：

    • 绑定发布目标

      • 支持解绑发布关系。
      • 支持租户及指定发布目标项目的选取。
      • 绑定关系后，展示发布关系，包括发布目标与发布来源。

    • 创建发布包时

      • 显示发布目标项目，原发布包目标项目需进行修改。
      • 区分一键发布与导入导出式发布。
      • 增加任务类型对象。
      • 发布描述修改为强制填写项。

    • 发布至目标项目

      • 修改发布包标题。
      • 操作中新增发布操作按钮。
      • 创建发布包后处于待发布状态，发布人与发布时间在发布完成后更新。

    • 一键发布对接审批中心

      • 新增发布类型：一键发布，与历史的导入导出式发布并存。
      • 审批流程与导入导出式发布保持一致。
      • 审批成功则进入发布后续流程，审批失败则标记为发布失败状态，并展示失败原因。
      • 同一发布包无需重复审批，审批成功后再次提交时直接通过。

    • 发布包流程优化点

      • 创建发布包时，优化发布至目标项目的显示，绑定生产目标项目则显示项目名称，未绑定则显示“未绑定生产项目”。

        一键发布-发布校验-1.png

实时对接DTAI及页面统一入口优化【6.3】【旗舰版】​

  • 背景: 配合数栈整体对接DTAI及页面统一入口优化
  • 说明:

    • DTAI：将模型访问方式替换为 DTAI 提供的接口。

    • 前端：页面优化，统一入口改为灵瞳。

    • 任务启动失败处理：引擎错误日志在 Failover 中展示，并支持日志智能解析。

    • 日志智能解析模板：统一修改执行、语法检查、调试失败日志的 Prompt 模板。

    • 前端页面缓存：使用页面缓存上次访问记录。

    • AI功能商业化：改为仅旗舰版支持。

    • FlinkSQL 开发页面展示：标题优化为智能优化、智能解释、智能注释（原标题“SQL 优化、SQL 解释、SQL 注释”修改，包含右键菜单部分）。

      灵瞳-2.png

任务参数支持密文方式【6.3】【标准版】​

  • 背景: 使用过程中权限以及相关的密文不允许未授权查看
  • 说明:
    • 密码参数优化：原 password 内置参数的默认隐藏方式（后端自动替换为**）将调整为允许用户自定义密码名称。
    • 密文使用方式：密文通过 ${参数名} 的方式引用。
    • 权限管理：
      • 创建项目参数时，仅创建人及项目管理员及以上权限的用户能够查看密文参数值。
      • ${参数名} 的使用限制在项目参数级别，暂不支持自定义和全局级别。
    • 支持任务类型：支持使用密文的任务类型包括 FlinkSQL、实时采集、FlinkJar和Pyflink。
    • 项目参数页面权限：
      • 项目参数列表不展示项目参数值。
      • 数据运维、开发及以上权限的用户可进入项目参数页面，访客无权访问。
      • 密文参数值的查看权限仅限于创建人及项目管理员及以上。
    • 发布包功能：当任务使用项目参数类型为密文时，发布过程中对密文进行加密处理，导入后正常展示密文信息。密文-4.png

优化​

Engine-plguins提交流程状态优化合并主分支【6.0】【标准版】​

  • 背景: 支持提交流程优化，解决yarn上状态和调度状态不一致问题
  • 说明:
    • 支持提交流程优化，解决yarn上状态和调度状态不一致问题

异常捕获展示优化提升产品可用性【6.3】【标准版】​

  • 背景: 优化更新任务运行异常信息，实现更智能的问题定位，提升处理速度。

  • 说明:

    • 任务脏数据展示优化：调整菜单位置至日志目录下。

    • 任务调试与执行：支持跳转至 Flink UI 地址。

    • 异常日志展示优化：

      • 提交任务异常日志。
      • 语法检查异常日志。

    • 批任务运行展示控制：优化展示逻辑。

      异常捕获-1.png

FlinkCDC版本升级等功能优化【6.3】【标准版】​

  • 背景: 实时采集FlinkCDC版本升级、新增插入Kafka多Topic、支持正则动态加表、写入Kafka支持自动建表
  • 说明:
    • 多表写入 Kafka：支持将多个 MySQL 表的数据写入不同的 Kafka Topic，可通过配置定义表与 Topic 的对应关系。
    • 动态加表配置：MySQL 来源表支持使用正则匹配表名，并可开启动态加表配置。
    • FlinkCDC 升级：将 FlinkCDC 版本从 3.2 升级至 3.3。
    • Kafka 自动建 Topic：目标写入 Kafka 时支持自动创建 Topic。

前端技术层面优化下拉框数据竞态【6.3】【标准版】​

  • 背景: 异步请求和用户交互需要优化的场景
  • 说明:
    • 在下拉列表搜索时，若用户输入关键字后等待响应 A，期间修改搜索内容并发起新请求 B，当 B 先返回而 A 后返回时，会导致下拉列表渲染的是 A 的内容，与实际搜索条件不符。