Skip to main content

StreamWorks 6.4.4更新日志

发布时间：2025-12-31​

新增​

数据开发Kafka来源表Format Raw等格式支持调试功能【6.2】【标准版】​

  • 背景：

    开发人员在处理Kafka原始格式（如RAW格式）数据时，能直接在界面上预览、解码和测试数据，就像处理JSON等标准格式一样方便调试，而不用反复提交作业来试错。

  • 说明：

    • FlinkSQL 调试支持Kafka 来源表 Format Raw格式类型
    • 支持两种方式进行数据上传：数据上传、资源选择 ｜ 采集线上数据
    • 涉及的其他功能：下载数据（下载Kafka采集到数据）
    • 数据预览处理： 半结构化数据、结构化数据、

数据开发-任务发布支持替换资源【6.3】【标准版】​

  • 背景：

    支持任务在不同环境间发布时能自动切换其依赖的JAR包、文件等资源路径，避免手动修改，实现安全、高效的一键发布。

  • 说明：

    • 数据开发-发布包一键发布，支持资源导入更新覆盖原资源-同名情况

    • 数据开发-发布包-导入导出发布，支持资源导入更新覆盖原资源-同名情况

      发布资源替换-1.png

全局告警-增加任务运行中失败触发出错Restarting重试状态判断告警触发条件【6.3】【标准版】​

  • 背景：

    需要监控任务运行时的重启循环状态，在任务最终失败前就能对异常重启模式发出告警，实现更主动的运维监控。

  • 说明：

    • 全局告警-增加任务运行中失败触发出错Restarting重试状态判断告警触发条件
    • FLink原生的metric指标：flink_jobmanager_job_numRestarts

数据开发-优化加密参数日志和数据脱敏【6.3】【标准版】​

  • 背景：

    为实时任务的敏感参数提供从配置、存储、传输到日志输出的端到端加密与脱敏解决方案，实现“可用不可见”，满足数据安全合规要求。

  • 说明：

    • 全局变量支持加密参数，实时支持使用全局加密参数

    • 全局、项目加密参数在限制对 执行、调试功能使用，并对任务语法检查、运行日志进行脱敏

      加密参数-1.png

实时采集支持间隔轮训采集维思通数据源【6.2】【标准版】​

  • 背景：

    实时采集支持间隔轮训采集维思通数据源写入kafka

  • 说明：

    • 实时采集（间隔轮训）：维思通VeStore-RTDB

    • FLink版本：1.16版本

    • 向导模式下默认支持血缘解析，任务运行查看血缘展示上下游关系

    • 同步检查：运行时Metic信息、脏数据报错信息

    • 选择表仅支持选择单表、需要支持数据预览操作

    • 结果表统一为Kafka，其他数据源暂不支持

      维思通-1.png

优化​

全局告警-告警内容格式化【6.2】【标准版】​

  • 背景：

    实时告警内容展示优化提高告警内容可读性。

  • 说明：

    告警-1.png

数据开发-高级搜索记录上次数据状态【6.3】【标准版】​

  • 背景：

    支持数据开发高级搜索记录上次数据状态，提升搜索效率。

  • 说明：

    • 高级搜索支持搜索记录上次的搜索状态，查询后二次进入时不刷新查询的内容

    • 高级搜索支持通过任务名称对数据开发任务管理中的任务进行查询展示

    • 高级搜索：任务、资源、函数、表管理修改为直接展示，不需要跳出搜索进行展示

    • 搜索内容支持前端通过刷新页面时缓存刷新或者切换不同查询条件进行刷新

      搜索-1.png

  • 背景：

    Flink Metric过滤技术改造 默认配置pushgateway metric过滤参数，减少pushgateway压力

  • 说明：

    pushgateway默认单节点输出，200以上任务数据量会有性能问题，控制台默认加上参数，可以提升至500以上任务无性能压力。

Topic管理支持手动刷新同步底层Topic【6.2】【标准版】​

  • 背景：

    Topic管理支持手动刷新同步底层Topic，降低出现Topic性能查询问题

  • 说明：

    • Topic管理页面-修改 所属kafka 列表 首次进入时 过滤搜索仅展示第一个Kafka Topic列表数据，降低后端访问全部kafka的性能响应问题

    • Topic管理-Kafka Topic 支持切换，但不支持多选，仅支持单选。

    • 同步底层Topic时，需要先指定所属Kafka后进行同步。

    • 创建Topic时自动带上所属Kafka信息

      topic管理-1.png