Skip to main content

StreamWorks 6.1.2更新日志

发布时间：2023-09-07​

新增​

【实时湖仓】新增“实时湖仓”模块【6.0】​

  • 说明：新增“实时湖仓”模块，支持对湖表的管理和计算。详见帮助手册中的实时湖仓模块。

优化​

【插件优化】flinksql查询维表经常scanner过期导致任务超时取消【5.3】​

【数据源】Starrocks结果表，向导模式支持更新模式【5.3】​

  • 背景:starrocks插件支持upsert定义主键，但平台向导模式不支持，需要在向导模式对更新模式进行调整适配
  • 说明:向导模式适配starrocks数据源并适配upsert自定义主键

!image-20230905135434155

【数据源】新增oushu 目标表【6.0】​

  • 背景:功能完善
  • 说明:结果表支持oushuDB数据源

image-20230905135523087

【任务运维】日志打印中的业务数据问题【6.0】​

  • 背景:目前实时任务的运行日志中会打印业务数据，存在数据安全风险，需要屏蔽掉。
  • 说明:运行日志、task manager日志、历史日志里是否存在打印业务数据,如果存在,对打印的业务数据做隐藏

image-20230905135616214

【任务运维】新增【任务下线】功能、新增“任务停止时间”列 【6.0】​

  • 背景:优化部分任务运维的交互体验
  • 说明:新增【任务下线】功能 .在任务列表新增【任务停止时间】列

image-20230905135711425

【数据开发】向导模式的各种数据源统一开放自定义参数配置【6.0】​

  • 背景:目前结果表中部分数据源的「添加自定义参数」和「更新策略」配置项是缺失的

  • 结果表—Sql server

    维表—mysql、oracle、sql server、Postgresql、kingbaseES8、greatdb、doris0.14.x(http)、doris0.14.x(jdbc)

    starrocks、impala、clinkhouse、inceptor、ES6.x、ES7.x、TBDS_HBASE、argodb、vastbase 对以上数据源添加开放自定义参数配置

image-20230905135808109

结果表—涉及数据源：Sql server、Postgresql、kingbaseES8,对以上数据源新增更新策略

image-20230905135900820

【数据源】源表新增upsert kafka插件【6.0】​

说明:新增Upsert Kafka插件做为FlinkSQL的源表和结果表

image-20230905140439865

结果表新增upsert Kafka插件

image-20230905140530262

【任务运维】健康分模型优化，新增任务扣分项说明、常见问题排查指导、健康告【6.0】​

说明:对于任务运维做功能上优化,用户可通过健康分查看具体扣分项进行完善,方便于用户进行问题排查.

image-20230905135937836

【实时开发】任务导入导出功能优化【5.3】​

  • 背景：实时任务的导入导出功能，在做任务资源组信息替换时，用了数据库的序号，而没用名称。导致跨环境导入时会报错。（因为跨环境的这些信息，在数据库的id大概率是不一样的）
  • 说明：任务导入导出时，需要做信息替换的如资源组、数据源等信息，均使用名称进行替换。这样只需要保障两个环境维护的名称一致，就可以实现跨环境的政策导入导出。