Skip to main content

StreamWorks 6.4.1更新日志

发布时间：2025-09-22​

新增​

岚图-实时FlinkJar类型支持FLink1.17版本【6.3】​

  • 背景：

    岚图定制-FlinkJar任务支持1.17版本

    Flink117.png

  • 说明：

    影响范围：

    • 控制台配置FLink1.17版本
    • 实时计算项目中添加Flink1.17版本的FlinkJar任务类型
    • 开发Flink1.17版本任务，mianClass、命令行、附加资源使用
    • 任务参数、重试、环境参数、自定义参数配置
    • 任务运维：运行中jobmanager日志、taskmanager日志、CheckPoint、SavePoint、Metric
    • 任务支持重跑、重试操作
    • 告警配置相关停止、失败等策略

岚图-元数据管理HMSCatalog支持Paimon升级至1.2版本【6.3】​

  • 背景：

    岚图定制-产品交付需求升级至 Paimon 1.2 主要解决 Upsert 场景的可靠性 和 Schema 动态适配问题，同时提升实时数仓的灵活性和性能。需重点关注版本兼容性、数据一致性验证及历史作业迁移策略。

    paimon12.png

  • 说明：

    当前需求现状（FlinkSQL 1.16 + Paimon 1.2）:

    • Catalog 管理：FlinkSQL 1.16 已支持 Paimon 1.2 的 Catalog 集成，可直接通过 SQL DDL 创建、管理 Paimon 表（如 CREATE CATALOG）。
    • 核心场景支持：
      Kafka → Paimon（Append 模式）：实时摄入 Kafka 数据写入 Paimon 表（仅追加，无更新）。
      MySQL CDC → Paimon：通过 FlinkCDC 捕获 MySQL 变更（INSERT/UPDATE/DELETE），写入 Paimon 表（需 Schema 自动演进）。
    • 维表关联 + 迟到数据处理：
      读取 Paimon 表作为维表（如用户信息），与 Kafka 流数据关联（如订单流）。
      支持 Upsert 操作（如迟到数据触发历史计算结果更新）。

岚图-数据源支持MPP数据库Doris3.x支持FLinkSQL维表、结果表、间隔轮训来源【6.3】【标准版】​

  • 背景：

    岚图定制&Release-产品交付需求数据源支持MPP数据库Doris3.x支持FLinkSQL维表、结果表、间隔轮训来源。

    doris3x.png

  • 说明：

    • 数据源中心支持Doris3.x;
    • Flink1.16支持FlinkSQL类型数据源Doris3.x作为维表、结果表;
    • 实时采集支持Mysql CDC同步至Doris3.x：支持增量同步、全量+增量同步两种同步范围;
    • 实时采集支持间隔轮训Doris3.x读取，写入仅支持Kafka;

Gate-任务打包发布提交支持新任务进行文件续跑操作【6.3】【标准版】​

  • 背景：

    Gate-产品交付需求：任务打包发布提交支持新任务进行文件续跑操作。

    任务打包发布提交支持新任务进行文件续跑操作.png

    任务打包发布提交支持新任务进行文件续跑操作-1.png

  • 说明：

    • 任务一键发布打包支持配置将Savepoint、CheckPoint打包，在导入发布、一键发布时直接回填HDFS数据;
    • 任务开发提交新任务后，支持在任务运维时新增续跑操作，仅能通过指定文件恢复续跑;
    • 导入导出发布包一键发布时支持回显打包时的SP、CP信息;

Gate-任务运维-任务状态列表支持展示停止时保存Savepoint路径【6.3】【标准版】​

  • 背景：

    Gate-产品交付需求：任务运维-任务状态列表支持展示停止时保存Savepoint路径。

    任务状态列表savepoint.png

  • 说明：

    • 验证Gate 使用的集群AWS-S3 保存Savepoint任务停止后在任务状态列表中展示Savepoint信息;

    • 同步需要验证Hadoop HFDS集群方式;

    • 续跑任务选择通过Savepoint恢复并续跑：前端展示Savepoint存储路径。仅做展示不允许修改;

北京军博-FlinkSQL引擎侧适配Gaussdb for pg 支持Upsert模式【6.2】​

  • 背景：

    北京军博-产品交付需求：FLinkSQL 支持gaussdb for pg版本结果表Upsert模式。

  • 说明：

    • FLinkSQL 支持gaussdb for pg版本结果表Upsert模式;
    • Flink版本：Flink1.16，低版本不支持;

中信建投-数栈平台支持两套集群任务提交分租户和个人级别【6.0】​

  • 背景：

    中信建投-产品交付需求：数栈平台支持两套集群任务提交分租户和个人级别。

    数栈平台支持两套集群任务提交分租户和个人级别.png

  • 说明：

    • 默认使用用户级TBDS权限
    • 支持在租户管理中配置租户隔离配置：用户级TBDS、租户级TBDS 两个配置选择项。调度提交改造先获取租户隔离配置在进行调度流程
    • 支持切换租户隔离配置，但会影响历史日志和CK，需要通过授权或者其他方式解决。

中信证券-实时采集Oceanbase for MySQL&Oracle 写入Kafka【6.2】​

  • 背景：

    中信证券-产品交付需求：实时采集Oceanbase for MySQL&Oracle 写入Kafka。

  • 说明：

    • 实时采集Oceanbase for MySQL&Oracle 写入Kafka。
    • FLink版本：1.16版本。

中信证券-元数据库支持OceanBase 4.2.1 For Mysql【6.2】​

  • 背景：

    中信证券-产品交付需求：元数据库支持OceanBase 4.2.1 For Mysql。

  • 说明：

    • 元数据库支持OceanBase 4.2.1 For Mysql。

AI灵瞳支持多Seesion会话管理【6.4】【旗舰版】​

  • 背景：

    提供灵瞳会话记录保留历史的会话记录有效的做到历史的溯源。

    灵瞳历史会话.png

  • 说明：

    • 灵瞳支持问答上下切换问答历史
    • 灵瞳编辑框代码部分支持插入光标位置
    • 会话返回最近50个，按照创建时间倒序

优化​

实时WebUI 的URL域名跳转策略优化为集群级独立配置【6.2】【标准版】​

  • 背景：

    实时WebUI 的URL域名跳转策略优化为集群级独立配置,解决不同的集群访问配置为同一个，导致访问失败。

    URL域名跳转.png

  • 说明：

    • 集群配置支持通过控制台配置FlinkUi域名跳转地址，参数名：flinkUi.proxy.url.prefix
    • 兼容历史的代码需要改造：1、优先级控制台大于后端配置 2、控制台未单独配置则直接走后端配置文件
    • FLink配置区分PerJob和Session地址，不同的模式需要在自定义参数单独配置域名转发地址。
    • FLink版本支持：1.12、1.16及以上

实时任务告警触发方式需同步覆盖超时取消状态，确保异常全链路可感知【6.2】【标准版】​

  • 背景：

    实时任务运行n天后，因配置了失败重试，遇到异常任务重试，此时重试超时，状态变为超时取消，告警无法触发，不能及时处理。

  • 说明：

    • 全局告警-任务停止状态增加超时取消判断告警触发条件
    • 当前任务状态变为取消时，触发告警（常用于手动停止、重试超时取消）

智能注释、智能解释、智能优化、日志分析的Prompt优化【6.4】【标准版】​

  • 背景：

    灵瞳智能注释、智能解释、智能优化、日志分析的Prompt优化。

  • 说明：

    • AIWorks工作流灵瞳智能注释、智能解释、智能优化、日志分析的Prompt优化。