Skip to main content

StreamWorks 6.0.0更新日志

发布时间：2023-03-03​

功能新增​

【数据还原】存量数据同步+增量日志还原的一体化任务，支持Oracle—>MySQL/Oracle【5.3】​

  • 背景：在上个迭代中已经支持MySQL—>MySQL/Oracle的数据还原能力，本次新增Oracle源端

  • 功能：创建实时采集任务时，源端配置选择Oracle并开启数据还原

    image-20230317165010440

【全局告警】新增全局告警功能【5.2】
​

  • 背景：之前的实时任务告警规则，需要在每个任务的运维页面单独配置。相当于已任务维度进行管理。但是在实际开发中，比如任务失败这种场景，一般是需要对每个任务都进行配置的，但是这样在每个任务上单独操作又非常繁琐。

  • 功能：新增全局告警功能，已规则维度进行管理，每个规则可同时应用到多个任务上。

    image-20230317171443913

【日志关键词监控】新增日志关键词监控告警规则，以实时任务方式执行该监控【5.2】​

  • 背景：实时任务在运行过程中，往往会出现任务状态运行正常，但是实际日志已经开始出现各种报错信息，比如Exception、Error、Fail等，这类关键词的出现意味着任务的不稳定。我们需要在任务真正失败之前及时感知到运行日志中出现了这类关键词，然后case by case地提前去解决。

  • 功能：全局告警新增“日志关键词”规则，平台自动创建相应的实时监控任务。

    image-20230321155353227

功能优化​

【数据还原】Sink端自动生成表名的逻辑优化【5.3】​

  • 背景：原先数据还原任务的sink端表名生成，会自动拼接stream等前缀。这会容易出现几个问题：不符合内部数开的表名命名规则；拼接后导致表名太长无法正常创建。

  • 功能：SINK端自动创建的表名，支持两种模式：默认和源表相同、支持在源表名的基础上拼接自定义内容。

    image-20230321161117016

【告警优化】新增告警恢复通知；新增告警级别分类【6.0】​

  • 背景：之前的告警规则没有区分等级，用户同时收到较多告警时，不确定需要先处理哪个问题；并且告警问题修复后，也没有通知消息，运维成本相对较高。

  • 功能：新增告警级别（紧急/重要/次要/提示）；告警规则新增是否开启恢复通知配置项；

    image-20230321162803127

【FlinkSQL/表管理】Flink表管理优化【5.3】​

  • 功能：Flink1.12任务、Catalog管理，支持已向导模式创建HUAWEI Kafka映射表

【资源管理】资源管理优化【5.3】​

  • 功能：资源上传支持自定义SFTP路径

    image-20230321171822058

【UI】数据开发页面的表单样式升级【5.3】​