Skip to main content

StreamWorks 6.2.2更新日志

发布时间：2024-07-11​

新增​

数据开发-Doris数据源版本升级2.x【6.2】​

  • 背景: Flink1.16 Doris数据源版本升级2.x支持Flink1.16做为FlinkSQL结果表、实时采集目标端
  • 说明:
    • 数据源中心支持Doris2.x
    • Flink1.16支持FlinkSQL类型数据源Doris2.x作为结果表
    • 实时采集支持Mysql CDC同步至Doris2.x：支持增量同步、全量+增量同步两种同步范围
    • 实时采集支持间隔轮训Doris2.x读取，写入仅支持Kafka
    • 支持三种模式 unique key、aggregate key、duplicate key
    • 注意点：Doris原先是两种方式，现在合并成一种方式：Doris2.x 分http和jdbc CDC支持doris2.x.pngflinksql_kafka_doris2x.pngflinkx_doris_kafka.png

数据开发-Starrocks数据源版本升级3.x【6.2】​

  • 背景: starrocks数据源版本升级3.x, 支持FLink1.16作为实时采集目标端、FlinkSQL的维表/结果表
  • 说明:
    • 数据源中心支持Starrock3.x
    • 实时采集支持Mysql CDC同步至Starrock3.x：支持增量同步、全量+增量同步两种同步范围
    • FlinkSQL支持Starrock3.x作为维表、结果表 sr3x-1.pngsr3x-2.png

产品新增 实时Topic管理适配Kafka3.x【6.2】​

  • 背景: 实时计算支持Kafka3.x数据源，配套Topic管理支持Kafka3.x作为数据源
  • 说明:
    • Topic管理支持Kafka3.x未开权限控制、开启KRB
    • Topic管理支持创建Topic、基础数据、数据曲线、consumer信息、分区信息、数据采样 kafka3x-1.pngkafka3x-2.png

FlinkSQL支持IDE编辑器易用性优化【6.2】​

  • 背景: 字段自动补全功能能够提高用户开发SQL的效率，原先需要手动打开表且输入相对应的表字段信息。也是SQL编辑器基础的功能之一。
  • 说明:
    • 支持DTCatalog表字段自动补全功能
    • 支持DTCatalog包含：源表、维表、结果表三种类型，重点验证：Kafka、mysql、oracle、es7
    • DTCatalog、HMSCatalog移入表名时返回表字段、字段类型、字段描述信息，映射表移入展示表字段、字段类型两个信息 dtcatalog字段展示.jpg

优化​

数据开发-实时采集CDC优化【6.0】​

  • 背景: Flink1.16 实时采集CDCMysql来源表选择支持正则匹配、Mysql写入Paimon优化CDC脏数据、Mertic信息、血缘
  • 说明:
    • 实时采集支持FLinkCDC Mysql写入Paimon支持脏数据、mertic信息、血缘
    • 实时采集-Mysql支持FLinkCDC-正则选表 正则选表-1.png

FLinkSQL hive2结果表支持Array字段类型【6.0】​

  • 背景: FLinkSQL1.16 hive2结果表支持Array字段类型
  • 说明:
    • FlinkSQL Sink 支持Arrary字段类型 hive-array字段.png

实时融合AI+功能优化【6.2】​

  • 背景: 产品优化实时计算融合AI+功能优化
  • 说明:
    • SQL生成支持通过手动选表方式确定表的范围
    • 其他类型任务增加栈语妙编:实时采集、PyFlink、FlinkJar
    • 运维中心- Failover失败日志智能分析 ai-1.pngai-2.png

数据开发-任务导入导出时续跑功能优化【6.2】​

  • 背景: 数据开发-任务导入导出时续跑功能优化
  • 说明:
    • 任务导入一键提交页面在任务后添加CheckPoint文件HDFS完整路径，任务使用续跑操作 一键提交支持checkpoint.png

前端优化组合【6.2】​

  • 背景: 前端优化组合
  • 说明:
    • FlinkSQL-源表Kafka添加读取类型提示语句支持跳转到帮助文档
    • 任务运维-数据曲线Mertic信息展示优化