Skip to main content

StreamWorks 6.3.4更新日志

发布时间：2025-02-20​

新增​

FlinkSQL支持hyperbase9.0作为维表和结果表适配【6.3】【标准版】​

  • 背景: 交付性需求FlinkSQL支持hyperbase9.0作为维表和结果表适配
  • 说明:
    • FlinkSQL支持hyperbase9.0作为维表和结果表适配
    • 支持FLink1.12、FLink1.16版本

FlinkSQL支持keybyte9.0作为维表和结果表适配【6.3】【标准版】​

  • 背景: 交付性需求FlinkSQL支持keybyte9.0作为维表和结果表适配
  • 说明:
    • FlinkSQL支持keybyte9.0作为维表和结果表适配
    • 支持FLink1.12、FLink1.16版本

任务自定义参数支持项目级、全局参数【6.3】【标准版】​

  • 背景: 任务自定义参数支持项目级、全局参数
  • 说明:

    • 任务自定义参数支持项目级、全局参数

    • 任务参数设置-映射值，将此任务发布至目标项目时将自动使用映射值替换原值

    • 变量参数：仅支持在对应的单个任务下使用，包括任务支持生效范围：FlinkSQL的SQL编辑区域、FlinkJar的命令行参数、实时采集脚本模式的JSON、PyFlink向导模式的Pyflink入参。使用格式${参数名}

    • 项目配置-新增项目参数页面

      自定义参数-1.png

实时采集MysqlBinlog采集支持字段过滤【6.0】【标准版】​

  • 背景: 现在使用实时MySQL binlog采集时候，客户因为安全原因，希望过滤敏感字段，我们在向导模式多表采集的场景下能进字段的过滤。
  • 说明:
    • 在高级参数中增加filterColumns字段，表名、字段名支持正则匹配 "filterColumns":"tableName.columnName"
    • 使用范围仅支持Flink1.16版本及以上MysqlBinlog采集 过滤字段-1.png

Engine-plguins提交流程状态优化【6.0】【标准版】​

  • 背景: 交付性需求Engine-plguins提交流程状态优化，解决客户在提交任务的时候在资源不足，网络波动，hdfs负载过高等场景下会出现状态游离的场景
  • 说明:
    • 修复场景hdfs负载过高，网络波动导致任务上传jar包时间过长超过调度超时时间导致任务游离。
    • 修复场景资源不足导致perjob任务被提交到yarn上之后由于集群没有资源拉起jm导致任务导致submit接口没有返回从而超时。导致任务游离
    • 修复场景资源不足导致perjob任务被提交到yarn上之后由于集群没有资源拉起jm导致任务导致submit接口没有返回，而此时客户对于当前任务进行kill操作导致任务游离。

优化​

实时开发平台操作记录至安全审计平台【6.3】【标准版】​

  • 背景: 内部优化需求，迭代过程需要整体优化执行操作需要同步到安全审计平台
  • 说明:
    • 新添加实时开发平台整体的操作记录需要同步到安全审计平台中
    • 列表中增加操作结果、失败原因的记录展示、操作对象筛选
    • 整理历史动作，整合匹配相关的操作对象
    • 搜索条件增加操作对象
    • 修复数据预览连接信息展示问题
    • 修复页面字符超长展示问题 安全审计-1.png

实时任务开发-任务执行按钮优化【6.3】【标准版】​

  • 背景: 数据开发任务执行按钮优化取消结果中开始停止按钮
  • 说明:
    • FLinkSQL数据开发-任务结果开始、停止按钮删除
    • FLinkSQL数据开发任务执行中状态时-展示执行停止按钮、执行停止后展示执行按钮

实时前端页面UI整体优化【6.3】【标准版】​

  • 背景: 实时前端页面UI整体优化需求迁移
  • 说明:
    • 实时前端页面UI整体优化需求迁移

Topic管理kafka0.10版本与0.11版本DataSoucex区分版本【6.0】【标准版】​

  • 背景: 项目交付过程中发现kafka0.10版本与0.11版本需要去分版本
  • 说明:
    • Topic管理支持0.10版本、0.11版本kafka创建Topic
    • 验证范围：0.10、0.11版本的kafka涉及到 FlinkSQL维表、结果表的预览、Json解析；调试Kafka信息获取；日志推送输出Kafka；Topic管理增删改topic