Skip to main content

StreamWorks 6.4.3更新日志

发布时间：2025-12-05​

新增​

全局告警-增加任务异常游离状态告警触发方式【6.3】【标准版】​

  • 背景：

    为防止因系统组件故障、通信异常等原因导致的任务失控（任务进程仍在运行但已脱离主控系统监管），特增加此全局性告警功能。旨在及时识别并通知“异常游离”任务，确保系统任务状态的一致性与资源的有效回收。

  • 说明：

    • 全局告警-增加任务状态异常出现游离状态判断告警触发条件

    • 调度后续增加Not_Found状态匹配此类状态游离的情况

    • 平台运维中心增加未知状态枚举，支持通过状态条件搜索

      全局告警-异常游离状态.png

数据开发-任务增加负责任字段保证任务移交需求场景【6.3】【标准版】​

  • 背景：

    为解决任务责任不清和人员变动导致的跟进断点问题，本需求为任务增加“负责人”属性，并优化“任务移交”功能。通过明确的责任人与标准化的移交流程，确保任务生命周期的连续性，提升团队协作效率与责任可追溯性。

  • 说明：

    • 任务属性新增责任人参数，历史数据中责任人为创建人参数

    • 责任人支持修改，通过编辑按钮进行修改，跳转Frame窗口列表进行修改，回显当前责任人

    • 增加最近修改人员参数，最近修改人员对应为历史版本中最近的一次任务操作者。（保存、自动保存）

    • 责任人允许修改的权限（与权限管理-任务开发-编辑权限保持一致）：数据开发、项目管理员、项目所有者、租户管理员

    • 责任人变更列表人员为当前租户下的所有成员

    • 任务一键发布时，后端判断任务发布责任人必须在生产项目下作为前置条件

      责任人.png

数据开发-任务管理权限细化【6.3】【标准版】​

  • 背景：

    在实时计算、数据管道、运维自动化等场景下，任务直接操作生产数据或服务，需要严格的控制。

  • 说明：

    • 实时-项目管理-角色管理新增「任务管理-新增」&「任务管理-删除」权限点

    • 控制台-角色管理-角色管理新增「任务管理-新增」&「任务管理-删除」权限点

    • 修改历史编辑功能，默认数据开发需要支持新增、编辑权限点（刷SQL）、删除

    • 控制台验证新增角色时，「任务管理-新增」权限点生效，平台和控制台同步验证

    • 控制台验证编辑角色时，「任务管理-新增」权限点生效，平台和控制台同步验证

    • 控制台验证编辑角色时，「任务管理-删除」权限点生效，平台和控制台同步验证

    • 自定义角色支持配置任务管理新增、编辑、删除权限

      任务管理权限细化.png

任务运维-续跑操作以判断SavePoint与CheckPoint最近节点进行默认选择【6.3】【标准版】​

  • 背景： 任务同时存在SavePoint和CheckPoint的情况。Savepoint为最近的保存节点，CheckPoint早于SP的节点，目前平台会默认选择为CK时间，导致数据重复消费。

  • 说明：

    • 任务运维-单个任务选择续跑时，前端判断最新的节点时间来选择是Savepoint还是CheckPoint。
    • 任务运维-单个任务选择续跑时，前端判断仅存在CheckPoint时，默认选择Checkpoint，且为最新的位点。
    • 任务运维-多选任务进行续跑操作时，前端判断最新的节点时间来选择是Savepoint还是CheckPoint进行续跑操作。

数据开发-FLinkSQL&实时采集1.16版本支持Hive3.x(apache hadoop3.3)版本数据源【6.3】【标准版】​

  • 背景：

    原Hive3.x支持到Apache Hadoop3.1集群版本，运行在Apache Hadoop3.3报错。

  • 说明：

    • FlinkSQL结果表支持Hive3.x(Apache Hadoop 3.3)版本，同时需要支持开启Kerberos

    • 实时采集目标表写入支持Hive3.x(Apache Hadoop 3.3)版本，同时需要支持开启Kerberos

    • 支持的Flink版本：1.16

    • 性能测试验证标准：FLinkSQL结果表、单并发、数据输出时间1秒、数据输出条数10000条、写入字段数量20个字段、

    • 发布包导入导出验证

      hive33.png

数据开发-资源上传资源名称支持字符类型优化【6.3】【标准版】​

  • 背景：

    数据开发-资源上传资源名称支持字符类型优化，支持更多字符类型校验，满足客户需求。

  • 说明：

    • 资源上传 资源名称支持字符类型支持标点符号：英文点、英文中划线

    • 资源名称开头、结尾不支持标点符号，仅支持字母、数字（历史逻辑不变）

    • 流程验证：FLinkJar任务、函数使用流程

      资源名称.png

数据源支持FlinkSQL1.12 &1.16维表、结果表支持tdsql8.x数据源【6.2】【标准版】​

  • 背景：

    数据源新增FlinkSQL1.12 &1.16维表、结果表支持tdsql8.x数据源支持更多数据源类型

  • 说明：

    • FlinkSQL 1.12、1.16 版本维表、结果表支持tdsql8.x数据源。
    • 支持的Flink版本：1.12、1.16
    • 性能测试验证标准：FLinkSQL结果表、单并发、数据输出时间1秒、数据输出条数10000条、写入字段数量20个字段、
    • 数据库版本：tdsql8.x
    • 表类型：分表、单表、广播表

集群适配火山LAS底座【6.2】【标准版】​

  • 背景：

    支持LAS3.2.1底层引擎适配代码，以正式支持基于Hadoop 3.x的环境。

  • 说明：

    • 控制台支持配置LAS3.2.1版本信息（控制台提前对接完成）FLink On Yarn
    • 支持任务类型FlinkSQL、FlinkJar、实时采集、PYFlink
    • Flink版本 1.16

优化​

实时元数据管理选择库加载表接口性能优化【6.3】【标准版】​

  • 背景：

    表管理相关接口性能差导致用户体验性差

  • 说明：

    涉及表管理的接口：

    • 表管理-选择HMSCatalog列表
    • 表管理-湖表-查询单独湖表

调度引擎针对CK、SP后端技术改造【6.2】【标准版】​

  • 背景：

    在客户使用过程中发现的统一性问题，通过技术性改造优化掉。

  • 说明：

    问题：

      - ck缓存获取不到或者获取不对
      - ck获取的速度慢，支撑查询不足
      - ck获取的条件复杂，监听排查不方便
      - 归档文件很大导致fullgc