Skip to main content

2024年7月更新日志

功能新增

【6.2】计算引擎支持Doris

背景:

当前市场整体对StarRocks、Doris有强烈需求,本次优先支持Doris。

功能:

  1. 平台层面支持配置Trino/Doris作为计算组件,配置后在整个平台层面生效,不支持更换计算组件、不支持同时使用多个计算组件做指标管理。
  2. Doris版本支持:2.x
  3. 功能差异性说明:
  • 行更新功能仅在Trino下可使用,Doris不支持行更新功能
  • API管理:Trino涉及将Hive数据同步到HBase做数据调用,Doris直接基于Doris做API调用,不涉及数据同步任务生成与运行

【6.2】指标定义支持不落表,数据做即席查询

注:该功能仅针对Doris生效

背景:

目前利用指标平台进行指标管理强依赖数据落表,但对于小数据量来说,使用sr、doris等引擎,直接查询也可实现秒级响应。 本次需求实现指标定义后不做数据落表,每次查询时实时查询数据结果返回。

功能:

  1. 针对doris引擎,派生、复合、自定义指标支持只定义指标,不执行周期任务落表
  2. 定义指标中的「设置调度信息」步骤中,
  • 设置数据查询方式 = 即席查询:无需配置其他内容,结果查询时基于定义的技术口径,系统自动做SQL拼接进行结果查询
  • 设置数据查询方式 = 落表查询:配置落表信息,包括指标表名称、调度属性、依赖属性等。结果查询时基于落表数据做结果查询
  1. 指标告警时,近针对落表查询的指标可进行告警配置
  2. API调用时,仅针对落表查询的指标可创建API

功能优化

【6.2】SQL优化:full join调整为union all,提升查询速度

背景:

目前验证通过union all方式生成数据速度比full join快,对full join的sql场景做了union all替换

功能:

针对复合指标、API的full join场景,SQL做调整:

【6.2】维度值选择时,选项来源优化

背景:

当前平台功能使用中涉及到的维度值选择时,选项均来源于指标结果表,但平台目前存在不落表场景,且指标结果表中的最新分区不一定包含所有维度值,本次统一调整为从维度管理中的主维表、次维表获取

功能:

平台涉及维度值选择的功能,其下拉框选项范围调整为:维度关联的维表中按主维表-次维表的顺序取第一个表,查询维度字段的枚举值的前100个去重内容(分区表只查询最新分区) 涉及功能如下:

  1. 指标市场-结果查询-维度下拉框取值
  2. 指标市场-指标详情-指标血缘-结果查询
  3. 数据权限-维度列筛选下拉框取值

【6.2】指标市场结果查询时的业务日期增加默认调整

背景:

指标数据查询时,可能因用户一次选择的时间段过长导致资源消耗过大,平台对时间选择范围做下限制

功能:

业务日期默认填充:近7日,最多可选90天