Skip to main content

StreamWorks 6.3.5更新日志

发布时间：2025-04-03​

新增​

实时开发支持国际英文版【6.3】【标准版】​

  • 背景: 配合数栈整体需求同步开发实时国际英文版
  • 说明:
    • 前端页面、后端接口返回信息需要同步修改 英文-1.png

实时采集脚步模式支持Yaml格式【6.3】【标准版】​

  • 背景: 实时采集支持原生的Yaml格式有利于后期客户直接使用原生的脚本运行代码
  • 说明:
    • 实时采集脚本模式后续支持Json、Yaml两种格式，默认Json
    • Yaml格式支持的Flink版本：仅支持1.16以及上版本，出现仅有1.12或其他的情况。Yaml格式置灰不能选。
    • 前端页面适配Yaml格式
    • 支持自定义参数使用 Flinkcdc_1.png

FlinkSQL向导模式Kafka源表支持选择可用元数据【6.3】【标准版】​

  • 背景: 内部使用FlinkSQL向导模式Kafka源表时支持选择可用With中元数据参数
  • 说明:
    • FlinkSQL 1.16、1.12 向导模式
    • Kafka Format：JSON、OGG-JSON、AVRO、CSV、RAW、Debezium-JSON（1.16）支持source选择Kafka时，Kafka Available Metadata 支持选择作为运行SQL字段 kafka映射字段.png

运维管理中告警规则支持对应多个告警指标【6.3】【标准版】​

  • 背景: 运维管理告警支持单个告警配置多个告警指标减少配置工作
  • 说明:
    • 优化历史任务告警
    • 对相似的告警配置统一处理
    • 支持同一维度下配置多个触发告警的规则
    • 多个告警规则满足任意一个规则就触发告警 告警合并-1.png

优化​

FlinkSQL Oushu写入内外表切换通过结果表前端配置选择项进行切换【6.3】【标准版】​

  • 背景: FlinkSQL Oushu写入内外表切换通过结果表前端配置选择项进行切换
  • 说明:
    • 支持在结果表通过选择内外表写入方式切换
    • 原设计是通过控制台输入配置HDFS信息控制内外切分
    • HDFS导入方式必须配置相关HDFS参数，出现未配置的情况后端报错提示：请先在数据源中心配置HDFS相关信息
    • 默认使用COPY导入方式，需在控制台配置HDFS参数后支持选择HDFS导入切换

实时采集PGWAL增强数据类型【6.2】【标准版】​

  • 背景: 交付过程同步支持实时采集PGWAL Source 采集写入Kafka 支持Json、Jsonb、Array等数据类型
  • 说明:
    • 实时采集PGWAL Source采集写入kafka 支持的数据类型:json、jsonb、array、geometry（postgis经纬度、enum类型）
    • FLink版本：1.16版本

元数据库适配DM For Mysql【标准版】​

  • 背景: 数栈整体元数据支持DM For Mysql
  • 说明:
    • 支持版本为5.2、6.2版本

FLinkSQL向导模式源表Kafka配置offset支持选择group-offsets【6.3】【标准版】​

  • 背景: FLinkSQL向导模式源表Kafka配置offset支持选择group-offsets
  • 说明:
    • 支持FLink1.12、1.16版本
    • group id 未输入会设置默认值 group_offset.png

优化参数模版提示及数据预览功能【6.3】【标准版】​

  • 背景: 优化参数模版提示及数据预览功能
  • 说明:
    • 参数模版-提示语句修改
    • 数据开发-FLinkSQL维表、结果表 数据预览功能支持更多数据源：维表、结果表：PostgreSQL、kingbaseES、Impala、clickhouse、tidb、kudu、mongodb，Kafka（结果表） 数据预览-1.png

FLinkSQL向导模式支持开启kerberos的hive2数据源【6.3】【标准版】​

  • 背景: Hive数据源在实时计算中作为重要的数据源之一，目前引擎已经支持开启Kerberos，平台端补充向导模式支持
  • 说明:
    • FlinkSQL结果表支持开启Kerberos的Hive2.x（Apache）
    • 实时采集目标表支持开启Kerberos的Hive2.x（Apache）
    • 支持的Flink版本：1.16、1.12

实时采集适配引擎已完成的数据源插件【6.3】【标准版】​

  • 背景: 补齐实时采集适配引擎已完成的数据源插件
  • 说明:
    • 实时采集（间隔轮训）：Tidb、OceanBase（mysql、oracle）、PG
    • FLink版本：1.16版本 实时采集-1.png

实时湖仓一级菜单名称变更为元数据管理【6.2】【标准版】​

  • 背景: SKU调整实时湖仓一级菜单名称变更为元数据管理
  • 说明:
    • 实时湖仓一级菜单名称变更为元数据管理 元数据-1.png