Skip to main content

StreamWorks 6.3.1更新日志

发布时间：2024-10-17​

新增​

FLinkSQL1.16支持Seabox数据源【6.3】【标准版】​

  • 背景: 项目交付需求FLinkSQL1.16版本支持Seabox数据源需要支持维表、结果表
  • 说明:
    • Seabox数据源字段类型支持与FLinkSQL匹配
    • Seabox数据源格式支持主键表、非主键表
    • 维表更新模式支持Append、Upsert更新
    • 维表支持三种缓存策略LRU、ALL、NONE
    • 结果表支持多并行度写入 seabox-1.png

FLinkSQL1.16支持Hive3.x数据源【6.3】【标准版】​

  • 背景: FLinkSQL1.16支持Hive3.x数据源
  • 说明:
    • Hive3.x数据源需要控制台配置Hadoop3.x的集群，不支持Hadoop2.x集群使用
    • FLinkSQL结果表支持Hive3.x（Apache）版本，同时支持开启Kerberos
    • 实时采集目标表写入支持Hive3.x（Apache）版本，同时支持开启Kerberos
    • FLinkSQL结果表支持分区表、非分区表
    • 实时采集目标表写入支持自动建表
    • 表存储类型支持Orc、Text、Parquet hive3-1.png

任务运维支持自定义Metric指标【6.3】【标准版】​

  • 背景: 任务运维实时计算任务运行中数据曲线自定义Metric增加相关监控指标
  • 说明:
    • 支持全部任务类型
    • 支持Hadoop、K8S、CDH、CDP等集群
    • 自定义列表默认显示：CPU指标、Memory指标、Threads指标、Network.Task指标、Availability.Job指标、Checkpoint指标
    • 支持手动填写Metric指标名称添加成功后在列表Other目录中选取，同时保证自定义Metric名称填写正确否则采集指标会失败 告警-2.png
  • 背景: 希望通过修改yarn的缓存解决问题。同时实时产品可以同步增强缓存任务的调度能力，大幅降低磁盘使用空间。
  • 说明:
    • 影响版本 FLink1.16
    • 引擎判断控制台是否了相对应的参数,判断是否先从HDFS地址中找最新的插件Jar包
    • 缓存插件包：FLinkLibJar、ChunjunJar

实时元数据库支持DM For Oracle【6.2】【标准版】​

  • 背景: 元数据库支持信创适配数据库
  • 说明: 元数据库支持信创适配数据库DM For Oracle

优化​

任务运维全局告警优化【6.3】【标准版】​

  • 背景: 任务运维全局告警优化
  • 说明:
    • 优化全局告警页面展示位置，由原来二级菜单下实时任务中的按钮，提升为二级菜单
    • 优化告警规则：延迟消费数、延迟消费比例、启停策略执行失败 支持告警恢复通知，任务失败、任务停止、启停策略执行失败 支持告警抑制配置
    • 告警添加状态：开启、关闭，默认创建后开启状态 告警-1.png

FLinkSQL支持FLinkCDC数据源可视化【6.3】【旗舰版】​

  • 背景: FLinkSQL支持FLinkCDC数据源可视化
  • 说明:
    • FLinkCDC版本由3.1版本升级到最新3.2版本
    • 向导模式可视化的数据源：
      • Mysql-CDC
      • DB2-CDC
    • 历史数据DB2-CDC从源表直接创建迁移到CDC列表中
    • FLinkCDC目前仅在旗舰版支持使用 cdc-db2-1.pngcdc-mysql-1.png

湖仓管理-SQLQuery 湖表Paimon支持更多语法【6.3】【标准版】​

  • 背景: 优化补充Paimon查询指定的系统表，支持更多语法
  • 说明:
    • Table Specified System Table（表指定的系统表）实时计算内部执行需要用Catalog.Database.table的方式
    • 支持系统表 Snapshots Table 、Schemas Table 、Options Table、Audit log Table、Files Table、Tags Table、Consumers Table、Manifests Table、Aggregation fields Table、Partitions Table 支持paimon语法-1.png

FLinkSQL Sql语法检查执行DDL语句优化【6.3】【标准版】​

  • 背景: FLinkSQL语法检查执行DDL语句优化不执行JobGraph改为仅对语法进行校验
  • 说明:
    • 涉及到DDL语句：Create、Drop、Alter

FLinkSQL SQLQuery查询字段类型优化【6.3】【标准版】​

  • 背景: FLinkSQL SQL Query 查询字段增强并修复相关的已知问题
  • 说明:
    • 增强字段类型字段与FLink1.16支持的类型匹配，增加Array、Map、Row 三种类型
    • 修复TINYINT、SMALLINT不支持的问题，原HttpConnector已经支持 特殊字段支持-1.png

实时前端页面整体优化【7.0】【标准版】​

  • 背景: 实时前端页面UI整体优化
  • 说明:
    • 命令面板按钮添加操作：格式化、切换标签页
    • 资源管理-资源信息-资源路径添加复制按钮
    • 二次确认提示框添加操作相关信息
    • 表管理-表详情任务引用情况中任务状态的颜色调整
    • IDE编辑优化右键操作项
    • Kafka Offset 提示增加
    • IDE编辑器提示语句样式优化
    • 数据开发-不同任务类型IDE编辑器内中操作按钮整理
    • 数据开发-锁定状态操作按钮不允许点击