Skip to main content

StreamWorks 6.1.5更新日志

发布时间：2024-01-30​

新增​

实时湖仓湖表通过后端文件配置项控制表展示等操作【6.0】​

  • 背景: 用户对实时湖仓表管理中表的范围提出需求,实时湖仓中目前不支持展示在其他平台或底层创建的表,且需要对表的增删改查操作进行限制

  • 说明:

    • 优化前database|table 仅展示数栈实时湖仓页面创建的database和table
    • 优化后通过直连的方式展示hive metastore下table信息,需要通过SQL解析判断是否为实时支持的表,iceberg、hudi、paimon三种类型,通过同步方式同步hive metastore database信息
    • 通过配置项参数,数据开发-IED编辑SQL,控制湖仓管理-表展示的范围：第一种默认展示全部表、第二种仅展示实时支持的三种类型
    • 通过配置项参数,数据开发-IED编辑SQL,控制表操作的范围：第一种表示默认可操作全部表、第二种仅可操作实时支持的三种类型
    • 数据开发-SQL执行时,对配置文件中不支持的表进行DML、DDL操作时采取禁止操作,并做出相关的提示
    • 当前配置项对HSMCatalog控制,DTCatalog不在配置控制范围内
    • 针对表管理-Catalog展示出现性能问题
      • 首次进入Catalog展示已添加的所有Catalog,不展示下游Database和Table
      • 通过选择对应的Database展示下游的Table

    image image

实时湖仓HMSCatalog创建增加warehouse参数【6.0】​

  • 背景: 湖仓创建catalog时可以指定存储路径而不是按默认的路径进行存储

  • 说明:

    • 优化前不支持在创建HMSCatalog时配置Warehouse地址,只能使用默认的地址,且不做展示
    • 增加必填warehouse项,回填hive-site文件内warehouse地址

    image-

实时湖仓hive适配2.1版本【6.0】​

  • 背景: 适配CDH6.2.1对应的hive版本是2.1,目前数栈6.0版本适配2.3版本,需要做版本适配
  • 说明:
    • 实时湖仓原先在对接时未确定到具体的小版本，导致用户在做链接时出现问题
    • 使用CDH6.2.1 对应的hive 版本是2.1， 目前数栈6.0版本适配2.3版本。小版本之间连接问题需要做引擎适配

数栈6.0实时湖仓-Flink1.12支持DTCatalog&IcebergCatalog【6.0】​

  • 背景: 历史的用户使用DTCatalog和IcebergCatalog，升级到6.0版本后，原先设计考虑只1.16支持，1.12不支持
  • 说明:
    • 数据开发-FLinkSQL1.12支持运行DTCatalog和IcebergCatalog

数据开发页面支持高级检索方式，如支持代码检索等【6.0】​

  • 背景: 数据开发页面支持高级检索方式，如支持代码检索等功能，目前的搜索不区分具体的查询类型导致查询效率低下，同时增加支持根据代码内容搜索相对应的任务，提高搜索的实用性

  • 说明:

    • 数据开发-搜索修改成普通搜索和高级搜索
    • 普通搜索只通过任务名搜索，打开时不请求返回所有任务列表，只允许输入信息后才进行搜索功能
    • 高级搜索通过：任务名称、代码内容、类型、责任人、描述、进行搜索
    • 当前需求同步修改责任人文案范围：
      • 数据开发-任务详情-创建人员
      • 实时湖仓-表管理-负责人
      • Topic管理-负责人

    image- image-

FlinkSQL&实时采集向导模式增加脚本预览功能【6.0】​

  • 背景: FlinkSQL&实时采集向导模式增加脚本预览功能需求对于排查问题能够节省需要转脚本导致的时间成本，提高易用性

  • 说明:

    • FlinkSQL&实时采集向导模式增加脚本预览功能
    • 前端支持功能包含：搜索、复制、read-only、下载

    image- image-

数据开发编写-FlinkSQL时，当前的拓扑图编写中无法得到具体的一些字段信息【6.0】​

  • 背景: 字段自动补全功能能够提高用户开发SQL的效率，原先需要手动打开表且输入相对应的表字段信息。也是SQL编辑器基础的功能之一

  • 说明:

    • 实时计算数据开发FlinkSQL支持源表、维表、结果表字段在SQL编辑器IED编辑时字段自动补全功能
    • 支持向导模式和脚本模式，脚本模式注意DTCatalog暂不支持

    image-

数据开发-1.12及以上版本FLinkSQL维表不支持as别名【6.0】​

  • 背景: 历史版本的1.10支持维表AS别名，后续在1.12及以上使用Flink语法则不支持，防止使用上出现问题将向导模式下别名隐藏

  • 说明:

    • FLinkSQL 1.12及以上在向导模式下，维表处定义了别名后语法检查报错不支持AS。低版本1.10及以下依然支持维表别名
    • 前端对别名进行隐藏，修改后字段和类型的显示跟结果表保持一致

    image-

实时计算平台支持Hbase2.x数据源作为FLinkSQL维表且版本支持1.16【6.0】​

  • 背景: 实时计算平台具备Hbase2.x数据源的强大支持，可将其作为FLinkSQL的维表,支持版本1.16为用户提供丰富的数据处理功能

  • 说明:

    • Hbase2.x作为FlinkSQL常用维表，当前支持Hbase1.x版本，现在FLinkSQL1.16版本支持Hbase2.x

    image-

实时平台适配kafka3且支持kerberos认证【6.0】​

  • 背景: 实时计算平台具备Kafka3.x数据源的强大支持，可将其作为FLinkSQL的维表,结果表以及实时采集支持版本1.16为用户提供丰富的数据处理功能
  • 说明:
    • 支持FlinkSQL1.16版本作为源表、结果表
    • 支持实时采集1.16版本作为来源表、目标表
    • 支持实时湖仓DTCatalog作为源表、结果表
    • 支持开启kerberos认证方式
    • 支持调试运行 image-

优化​

实时开发任务热更新优化【6.0】​

  • 背景: 实时计算任务前期优化热更新过程中未考虑热更新期间重复进行热更新操作

  • 说明:

    • 当前版本对热更新未做状态限制，存在正在热更新的任务重复提交热更新操作，会导致重复的做热更新操作
    • 通过后端的对任务热更新状态的判断，正在热更新的任务无法重复的提交热更新操作，给出提示：当前任务正在进行热更新操作，请等待热更新结束后再执行操作。
    • 调度增加任务运行状态，通过状态判断

    image-

自定义模版创建任务时取消引擎版本限制【6.0】​

  • 背景: 当前的自定义模版，只支持Flink1.16版本使用，限制了模版的使用版本，6.0的用户存在低版本未升级到1.16的情况，就无法使用此功能

  • 说明:

    • 自定义模版创建任务取消引擎版本的限制，同步支持了低版本也能使用此功能

    image-

数据开发-任务开发时,点击保存,页面会自动跳回至顶部保留所停留的地方【6.0】​

  • 背景: 任务开发时点击保存-页面会自动跳回至顶部，页面应停留在保存的位置打乱开发节奏无法定位上一次编辑位置

  • 说明:

    • 数据开发在使用任务开发页面编辑SQL脚本不需要从顶部开始往下滑动，直接停留在保存的位置

      image-

任务管理任务最近操作人定义规范、开发作业提交文案优化【6.0】​

  • 背景: 实时任务当前任务操作人与任务保存时的提交人混淆。在实时任务操作时应根据操作人更新任务的操作人信息

  • 说明:

    • 实时任务当前任务操作人与任务保存时的提交人混淆，当前操作人为任务的责任人，现修改实时任务操作时应根据操作人更新任务的操作人信息

    image-

优化FlinkSQL的脏数据管理中，用户选择脏数据写入表容易出现误操作【6.0】​

  • 背景: 数据开发脏数据配置选择默认系统自动创建脏数据表包含job_id主键字段，用户手动选择自建表缺少job_id作为主键表平台层出现SQL解析异常

  • 说明:

    • 脏数据写入表中包含“job_id”作为主键，默认为系统自动创建，但受限于可能存在的权限问题，把脏数据写入表的选择交给了用户，如果用户添加时选了没有"job_id"字段的表，在任务运维的脏数据分析中会提示报错。需要给用户相关提示来避免误操作

    image-