Skip to main content

StreamWorks 6.1.6更新日志

发布时间：2024-03-06​

新增​

数栈6.0版本Flink1.16与低版本之间差距点，在产品层面做设计区别【6.0】​

  • 背景: Flink版本之间做功能区分，部分功能高版本支持低版本不支持，做页面功能区分，增加更友好的提示。
  • 说明:
    • 演示Demo、内置模版未配置Flink1.16及以上版本时，置灰无法点击 image-
    • 日志推送kafka：仅支持1.16版本及以上版本, FLink版本：FlinkSQL类型，其他版本和任务类型置灰处理 image-
    • Catalog仅支持1.16版本及以上版本, 低于1.16版本不允许选择Catalog源表、结果表、置灰处理
    • DB2-CDC仅支持1.16版本及以上版本, 低于1.16版本不允许选择置灰处理 image-
  • 背景: Flink1.16已支持的数据源，脚本模式已支持但向导模式未支持情况，可视化配置可降低用户操作难度。
  • 说明:
    • 本期支持数据源：
      • Vertica：维表
      • Phoenix5.x: 维表
      • greenplum：维表、结果表
      • db2：维表、结果表
      • dm: 维表、结果表(for mysql、for oracle)
      • gbase： 维表、结果表

发布功能优化文案优化、发布校验、降低发布失败概率【6.0】​

  • 背景: 任务导入检查流程可视化能够提升用户体感，当前只能通过发布失败后的提示进行判别，应该展示导入中各个步骤让用户了解导入的步骤。
  • 说明:
    • 发布流程可视化
      • 点击“上传发布包”确定按钮时出现以下检验弹窗，在上传发布包过程中校验：在发布包中校验引擎、数据源、资源组、资源、函数，对于每个校验项分别用校验项左边的状态icon和文本框中的内容展示校验结果。
      • 存在校验结果异常/未完成校验时，为防止校验逻辑出bug阻塞发布流程，仍可点击“发布”执行发布流程，勾选已知晓风险，继续发布。继续导入则显示蓝色按钮允许导入发布包。 image-image-image-

任务发布-任务导入导出的交互优化【6.0】​

  • 背景: 优化发布包二次导入任务时环境参数沿用已导入任务的环境参数，一键提交时增加任务的查看且支持选择任务调度策略，原默认只能续跑
  • 说明:
    • 一键提交校验是否存在Savepoint和Checkpoint，当前已提交运行过的任务再次提交默认是续跑逻辑，存在Savepoint时续跑优先使用，不存在Savepoint使用最近的Checkpoint续跑。不存在Savepoint和Checkpoint则使用重跑。勾选后则使用重跑，任务的调度策略使用重跑，任务失败状态则重试。
    • 任务二次导入时，原任务的环境参数不做更新沿用原环境参数，前提导出发布包时未勾选更新环境参数
    • 查看发布包-增加预览代码内容、启停策略、环境参数
    • 创建发布包-函数、资源的启停策略应为空，只有任务有启停策略 image-image-image-

数据开发-flinksql ogg/chunjun-json映射，支持元数据信息解析作为业务字段【6.0】​

  • 背景: 目前的ogg-json/chunjun-json映射，只能解析业务字段。非业务字段不支持作为加工数据。但是在实际业务中，往往存在多张表数据打到同一个的topic的情况，客户没法过滤处理。客户就只能选择普通JSON去处理，ogg-json/chunjun-json 功能就没有发挥出价值了。
  • 说明:
    • Kafka源表数据类型在选择ogg-json/chunjun-json时，高级参数中默认支持非业务元数据字段选取
    • ogg-json/chunjun-json返回固定的元数据字段可选
    • ogg-json/chunjun-json高级参数选择非业务元数据字段转脚本自动拼接在Create语句中 image-
      image-

数据开发-向导模式表映射flink关键词向导文本框无法加反引号区分关键字【6.0】​

  • 背景: 原数据开发-FLinkSQL向导模式字段映射，遇到FLink关键字时向导模式文本框无法添加反引号处理，只能通过转脚本模式添加后运行任务
  • 说明:
    • FlinkSQL向导模式遇到FLink关键字无法做反引号处理，统一将维表&结果表支持选择框的数据源，自动将关键字字段添加反引号处理 image-

数据开发-FlinkSQL任务添加转自定义模版功能【6.0】​

  • 背景: 原先客户提出了自定义模版的正确性校验，从数据开发-FlinkSQL预览中增加转模版的功能，既可以在数据开发页面验证语法和调试SQL，最终转成自定义模版
  • 说明:
    • 在数据开发-FlinkSQL任务中添加一个转自定义模版的功能
    • 将预览中的SQL内容在自定义模版的SQL代码中展示，自动将数据赋值 image-image-

数据开发-显示资源与函数和任务之间的绑定关系【6.0】​

  • 背景: 数据开发-资源与任务和函数之间相互的割裂，当前优化增加引用关系页面，能够查看到资源的引用关系
  • 说明:
    • 资源信息添加引用情况Table，包含项目名称、引用对象、名称三个字段参数
    • 租户资源存在引用关系，项目名称中若非本项目引用则显示具体的项目名称、当前项目引用则显示当前项目
    • 引用对象包含：函数、任务（PyFlink、Flink）两项 image-image-

优化​

任务运维-flink任务的命令行参数支持多行展示，展示全部内容【6.0】​

  • 背景: 任务运维-flink任务的命令行参数支持多行展示，展示任务的全部内容
  • 说明:
    • Flink任务 mainClass与命令行参数需要限制最大长度，最大250个字符
    • mianClass 前后端字符未做统一限制，导致现在后端报错字段超长 image-image-

【中信建投】实时运维-个人未配置Cas账号，提交调度受限制提示报错【6.0】​

  • 背景: 实时运维-个人未配置Cas账号时，任务提交到调度时受限制，提示先配置Cas账号信息
  • 说明:
    • 用户在【用户管理-自定义】未配置TDBS账号信息时，执行了数栈数据开发和任务运维页面操作后，任务报错提示：当前登录用户未绑定TBDS账号信息，为了确保您正常使用平台，请前往运营中心进行个人账号绑定操作！