Skip to main content

StreamWorks 6.3.0更新日志

发布时间：2024-09-04​

新增​

实时发布对接公共管理审批中心【6.3】【标准版】​

  • 背景: 在深入的客户沟通中，我们洞察到客户对于发布流程中审批环节的迫切需求。为了满足这一需求，我们计划将平台与公共审批中心进行无缝对接，并引入发布包导入的审批流程
  • 说明:
    • 实时平台修改
      • 发布审核流程默认不开启，支持通过审批中心开启
      • 导入发布包由原先导入发布包操作后直接导入修改为导入后为待发布，仅记录包不进行正式的导入操作，需要再次点击发布按钮才进行正式的导入流程
      • 发布状态修改为：待发布、审批中、发布失败、发布成功、等待提交、提交成功、提交失败
      • 发布包详情同步修改发布状态
      • 发布列表增加发布包ID、导入人、发布人、发布时间字段
      • 发布包进行审批流程上时提示在审批中，支持跳转到审批中心-我的申请
        发布审批-1.png
    • 公共管理-审批中心新增
      • 审批中心流程信息内置流程添加实时开发发布流程默认不开启
      • 审批中心支持实时开发发布流程的审批流程支持在审批授权中进行审批操作
      • 审批中心支持在我的申请中查看我的申请记录和状态 发布审批-2.png

数据开发SQLQuery运行日志优化【6.3】【标准版】​

  • 背景: 在原先的设计中，我们注意到执行的SQL语句和TaskManager日志并未得到充分展示，导致用户在等待过程中无法获得调度状态的详细视图。为了提升用户体验，我们计划对运行日志信息进行优化。
  • 说明:
    • 执行结果记录可追溯性，提供详细的执行结果记录、执行SQL、执行状态、执行模式、执行时长
    • 日志系统提供实时更新，每5秒打印任务状态和TaskManager日志，记录从任务创建到完成的执行时长，并在任务完成后提供完整日志下载。同时，语法检查阶段应输出具体的SQL信息，对于提交调度超时或等待资源时，提示用户正在等待资源或Session资源。
    • 执行结果支持排序、支持结果下载 执行修改-1.png

数据开发页面添加批量操作【6.3】【标准版】​

  • 背景: 数据开发页面添加批量操作，支持批量提交、修改责任人等操作。增强任务开发的易用性，提高任务开发效率。
  • 说明:
    • 支持搜索范围：任务名称、任务目录、使用数据源、使用资源组、创建人；列表筛选：FLink版本、任务类型、提交状态
    • 支持批量功能：批量提交、修改任务名称、修改任务目录、修改资源组
    • 批量操作完成后展示具体的操作结果，失败展示修改失败日志 任务批量操作-1.png

kafkaFormat支持DSG-JSON格式【6.3】【标准版】​

  • 背景: 补充KafkaFormat支持DSG-JSON格式
  • 说明:
    • 数据源类型支持：Kafka所有版本
    • FLinkSQL支持版本 1.16
    • 支持自动映射DSG-JSON数据
    • 支持FLinkSQL 来源数据源Kafka Format支持DSG-JSON并支持输出元数据字段 dsg-1.png

实时采集FLinkCDC支持目标Kafka数据源【6.3】【旗舰版】​

  • 背景: 实时采集FLinkCDC支持来源表Mysql采集同步到Kafka，补充Mysql采集同步输出的方式
  • 说明:
    • FLink支持版本: 1.16
    • Kafka版本: 1.x、2.x版本及以上，不支持kafka开启kerberos模式
    • 实时采集支持Mysql CDC同步至Kafka:支持增量同步、全量+增量同步两种同步范围
    • Kafka输出Topic当前仅支持选择已存在的Topic进行输出
    • Kafka输出类型支持Debezium-json（默认）、canal-json FlinkCDC_sink_kafka-1.png

kafkaFormat支持Debezium-JSON格式【6.3】【标准版】​

  • 背景: 补充KafkaFormat支持的格式，Debezium-json同时也为支持FLinkCDC输出Kafka默认为Debezium-json格式
  • 说明:
    • 数据源类型支持：Kafka所有版本
    • FLinkSQL支持版本 1.16
    • 支持实时采集FlinkCDC 输出Kafka Format 自动映射支持Debezium-Json格式
    • 支持FLinkSQL 来源数据源Kafka Format支持Debezium-Json并支持输出元数据字段 debezium-1.pngdebezium-2.png

优化​

告警配置-免打扰时间范围优化【5.3】​

  • 背景: 任务停止告警配置免打扰时间缺少23:59:00-23:59:59范围
  • 说明:
    • 后端修改开始时间从0秒开始计算，结束时间到59秒结束
    • 弥补告警配置在23:59:00-23:59:59范围之间的告警 免打扰时间-1.png

FLinkSQL1.16写入Hive结果表with参数增加Schema-name属性【6.0】​

  • 背景: 修复Hive结果表写入并发度调整大于1后需要在With参数中自动添加上Schema-name属性以满足底层引擎对任务运行的需求
  • 说明:
    • Hive2.x结果表高级参数展示并行度默认为1支持修改
    • 后端默认添加Schema-name属性 hive-schema-name-1.png

实时任务数量导致实时运行状态获取异常优化【6.0】​

  • 背景: 目前出现实时单项目过多FLink任务，实时在频繁批量查询任务状态掉用Engine接口时，如果历史日志EngineLog和InfoLog过大时，会导致List对象存储内容过大触发OOM问题
  • 说明:
    • 对实时任务运行状态所触发接口进行逻辑性改造优化，以满足平台千级项目下任务的平稳运行

FLinkSQL维表HbaseLRU缓存策略处理空值缓存【5.3】​

  • 背景: 【数据开发】FLinkSQL 维表Hbase LRU缓存策略处理空值缓存支持自定义配置
  • 说明:
    • 优化从5.3FLinkSQL1.12、6.0FLinkSQL1.16开始
    • 开启缓存'lookup.cache.cache-null' = 'true'： FLink left join hbase 维表，如果 出现第一次如果 join 的结果是 null，那么第二次来数据的情况下，如果这时候 Hbase 维表这条数据已经存在。会继续在缓存中取出上次缓存下来的 null 值，直到缓存失效为止 ('lookup.cache.ttl' = '60000') ，才会再次查询 Hbase 维表。
    • 不开启缓存'lookup.cache.cache-null' = 'false'： FLink left join hbase 维表，如果 出现第一次如果 join 的结果是 null，那么第二次来数据的情况下，会再次查询 Hbase 表。如果这时候 Hbase 维表这条数据已经存在，那么是可以关联上数据的。