StreamWorks 6.2.1更新日志

发布时间：2024-04-29

新增

Flink1.16对实时采集未支持向导模式的数据源整体支持【6.2】

• 背景: Flink1.16 实时采集支持功能范围与向导模式支持范围需要整体做一期完整的输出，对1.16整体版本输出是必要步骤。
• 说明:
  • 本次支持来源表：ClickHouse、DM For Mysql、DM For Oracle、OushuDB 统一支持写入Kafka

hive结果表支持二级分区【6.0】

• 背景: 项目交付-FlinkSQL1.16支持Hive2.x结果表支持二级分区、支持动态分区
• 说明:
  • 分区类型不选择时，SQL中需要指定分区字段 ，支持通过SQL脚本中字段作为创建动态分区的值。
  • 分区类型选择时，SQL中不允许指定分区字段否则语法检查报错，程序会根据选择的分区类型进行创建分区，当前支持DAY|HOUR|MINUTE三种类型。
  • 历史数据兼容分区类型选择DAY|HOUR|MINUTE时，则与原先逻辑保持一致，如在With参数中添加'partition' = ‘pt’,'partition-type' = ‘DAY’, 两个参数，会自动根据时间创建分区。
  • 分区数量为二级分区，分区类型必须保持一致：要么全部选择、要么一个都不选择，不能出现一个选择一个未选的情况
  • 脚本模式中出现两种方式：PARTITIONED BY (pt string, hh string)或者'partition' = ‘pt’,'partition-type' = ‘DAY’,同时存在则报错提示：不支持两种分区指定方式，请修改SQL。

实时开发融合AI+功能【6.2】

• 背景: 产品融合AI+可以给我们带来产品效率提高、提升用户体验、推动产品创新等因此越来越多的企业和产品开始探索和实践AI+融合应用
• 说明:
  • 数据开发-FlinkSQL类型支持SQL优化、SQL注释、SQL解释，提高SQL开发效率
  • 数据开发-增加栈语妙编模块，支持聊天式对

实时湖仓CDC入湖【6.0】

• 背景: 实时采集支持FLinkCDC3.x融合增加Mysql CDC采集写入Paimon表
• 说明:
  • 实时采集融合FLinkCDC3.x
  • 实时采集Mysql数据源增加FLink CDC采集写入Paimon表
  • 实时采集Mysql还原范围支持增量方式、全量+增量方式
  • 实时采集Paimon下游表支持三种写入方式：手动选表、相同表名、自定义表名
  • 实时采集Paimon下游表支持分区表自动创建
  • Flink CDC

实时湖仓-同租户下创建HMSCatalog下表显示不同项目的应用关系【6.0】

• 背景: 数据源为租户级别存在HMSCatalog表被其他项目引用后被删除的逻辑漏洞
• 说明:

  • 相同租户下使用相同Hivemetastore创建的不同名称HMSCatalog但查询的DB和Table都是相同的

  • 当前HMSCatalog下的表仅展示当前项目下表被任务引用关系

  • 存在当前租户下其他项目使用相同Hivemetastore创建HMSCatalog查询Table后直接删除Table，因为在另外的项目下不存在当前Table的表引用关系，则被定义为能删除

  • 当前修改为租户层面的引用关系。在表详情-表应用任务显示项目的名称。

  • 在删除表时同步检查是否其他项目下还存在表的引用关系，存在则不支持删除表

  • 任务名称支持数据开发任务详情跳转

    

优化

实时湖仓-表管理页面点击catalog不能展开底下database信息【6.0】

• 背景: 表管理Catalog选择前端优化
• 说明:
  • 表管理-Catalog管理下，Catalog层只能点击三角形符号才能展开下游Database层，优化为点击三角形和名称都允许展开下游Database层数据

实时湖仓-表管理-表详情中优化展示描述信息 【6.0】

• 背景: 表管理-表创建时描述信息未展示在表详情
• 说明:
  • 表详情中展示描述信息

实时湖仓-表管理-建表时字段comment信息表详情未展示【6.0】

• 背景: 湖表创建时字段comment信息写入，在查询表详情时无法展示
• 说明:
  • 三种湖表类型需要全部支持字段comment信息展示

前端浏览器兼容问题优化【6.0】

• 背景: 前端浏览器兼容问题优化
• 说明:
  • 前端浏览器兼容问题优化