Skip to main content

StreamWorks 6.1.1更新日志

发布时间：2023-07-06​

新增​

【TBDS账号】有TBDS账号的用户，往集群提交任务时以个人账号提交【6.0】​

  • 说明：有TBDS账号信息的用户以个人账号提交，其余统一以默认账号提交

【语法解析】增强IDE中flinksql语法解析的准确性【6.0】​

  • 背景：之前的语法解析，对于很多sql正确的写法依然会高亮报错
  • 说明：提高对sql语法解析的准确性

【告警规则】全局/任务告警新增“启停策略执行失败”触发方式【6.0】​

  • 背景：目前平台无法感知到启停策略是否执行成功，比如运行中的任务是否按照启停策略正常停止了、停止的任务是否按照启停策略重新启动了。
  • 说明：配置规则后可以在告警内容中看到具体失败的原因

image-20230905134423353 image-20230905134512656

【角色管理】支持用户自定义角色【6.0】​

  • 背景：目前用户在平台内使用的角色和对应权限点是内置固定的，当不同用户对角色应有的权限点或者角色种类与平台提供的想法不一致时，无法根据自身需求进行修改
  • 说明：支持在「角色管理」中新增自定义角色并编辑相应角色权限点，并优化了项目内操作成员的权限

image-20230905134554391

【资源调度】flink1.16任务支持on k8s运行【6.0】​

  • 说明：支持在控制台-集群配置中配置采集类型为NFS的k8s，配置步骤在「整体说明-调度支持」中查看

【数据源】新增hudi作为FlinkSQL的源表/结果表【5.3】​

  • 说明：支持引入HMS数据源，并且可以在flinksql向导模式的源表/结果表选择hudi表

    image-20230905134653588

【数据源】新增HBase/ElasticSearch HuaweiCloud作为FlinkSQL的维表/结果【5.3】​

  • 说明：支持在结果表/维表中选择使用适配fusioninsight/MRS集群的HBase/ES HuaweiCloud数据源

![image-20230905134759069](assets/images/hbase 纬表.png) image-20230905135028236

【session配置】实时任务的sql query、调试和售前demo任务通过的session模式提交【5.3】​

  • 背景：目前实时平台的任务提交默认均走perjob模式，但是对于实时sql query、调试、demo任务的场景，需要更快速的产出数据，并不需要持续长时间的运行，perjob模式的优势就利用不上了。并且perjob模式的劣势在于提交流程较长，也不符合此类场景。
  • 说明：session配置新增以下三个配置项来支持实时的任务场景

image-20230905135120908