Skip to main content

StreamWorks 6.1.0更新日志

发布时间：2023-05-30​

功能新增​

【引擎版本】 新增Flink1.16版本【6.0】​

  • 说明：实时采集、FlinkSQL、Flink和PyFlink任务的引擎选择支持flink1.16版本

【产品logo】logo可以在控制台更改【6.0】​

  • 说明：产品logo和名称从控制台的配置内容读取，不再固定写死

【数据开发】IDE执行新增Select在线查询能力【6.0】​

  • 背景：之前数开排错想要查看代码逻辑，需要将结果打印到日志中查看，操作成本较高

  • 说明：在IDE中可以对平台中的DT+hive catalog表进行select查询、执行DDL语句，结果在控制台查看，对于已停止的任务可以下载导出csv文件数据 image-20230905133956773

  • 注意：

    • 由于流式数据的查询是无界的，系统默认任务执行5分钟后自动停止
    • 1s最多输出100条数据量
    • 只能查询catalog下的表，不支持查询临时表

【数据开发】新增实时数仓demo，支持自动造数据，运行全链路任务【6.0】​

  • 背景：售前给客户演示产品时需要配置数据源等信息，门槛较高
  • 说明：可以让售前演示时点一点按钮就能自动造数据，并运行起全链路任务

NOTE

点击试运行后平台将在任务运维自动生成并提交四个任务，在一小时后自动下线（点击取消试运行直接删除下线），这些任务不支持在任务运维界面进行操作

image-20230905134133340

【数据开发】新增代码模板中心，支持使用系统内置模板以及创建自定义模板【6.0】​

  • 说明：平台内置各种FlinkSQL场景的开发模版，方便开发理解、上手，也可以根据业务自己创建自定义模版，提高开发效率，模版支持直接引用到自己的任务上做调整

image-20230905134229182

【Phoenix5.x】flink1.12版本支持phoenix5.x sink的选择【5.3】​

  • 背景：Flink1.10和1.12都已经兼容过Phoenix5.x了，但是实际是基于Phoenix5.1开发测试的，在实际使用过程中发现，该插件不兼容Phoenix5.0

【实时采集】向导模式中将前端的配置项抽象化【6.1】​

  • 背景：每新增一个数据源，如果要支持向导模式，前端都需要开发一套配置项。用户/定开团队开发的自定义connector，如果不进行前端定开，只能在脚本模式中使用
  • 说明：在向导模式中将前端配置项抽象化，后端开发完自定义connector+SQL刷入前端配置项+少量/甚至没有前端开发工作，完成一个自定义connector的开发应用