2024年9月更新日志
功能新增
【6.2】支持由用户自行完成指标任务开发并将指标结果表注册到指标平台
背景:
指标平台生成的任务规则相对固定,部分用户期望指标平台更多起到管理作用,将任务开发工作交由数开独立完成(例:基于任务运行速度等因素考虑会期望对多个指标做合并运行、结果写到相同的表中)。 平台作用:用户通过平台定义指标属性、计算口径等信息,将开发生成的结果表与定义的指标做绑定,后续通过平台做统一查询
功能:
- 数据模型定义时可以指定后续生成的指标是否只可通过平台落表。开启选项后,基于该模型生成的指标均需通过平台加工落表,不可手动注册自建结果表。未开启时,后续指标落表方式可灵活选择,无特殊限制,但不可使用行更新相关功能(该功能仅Trino引擎支持)
- 定义派生、复合指标过程中,指标加工方式可选择自动生成或手动生成,若选择自动生成,需定义表信息、调度信息等,由平台生成计算任务并将计算结果周期性地写入结果表中;若选择手动生成,选择已有的指标结果表与当前定义的指标做绑定即可
【6.2】指标落表由一个指标对应一个结果表升级为一个指标对应多个结果表
背景:
历史指标落表定义为一个指标对应一个结果表(只可满足一个维度组合的落表),但无论是城市维度的销售额,还是区域维度的销售额,对业务层面来说均是销售额指标,对开发层面来说,计算口径只有维度差异,针对这类场景,将计算口径除聚合维度外,无其他差异的数据汇总为同一指标,有利于开发层面统一管理指标,也有利于业务层面统一使用指标
功能:
- 派生、复合指标落表数量由一个调整为多个,可同时选择多个聚合维度落表
- 指标自动路由计算:
- 原子指标支持定义聚合函数,若定义了聚合函数,对应派生指标计算时,涉及到粗维度数据计算,将由细维度结果表直接进行维度聚合,提高计算速度
- 自定义指标支持定义聚合函数,若定义了聚合函数,复合指标基于该自定义指标做计算时,涉及到粗维度数据计算,将由细维度结果表直接进行维度聚合,提高计算速度。 其中,首次生成的指标,指标对接请选择「新指标」,并配置指标信息(新增聚合方式需要配置)
若本次SQL涉及的指标历史配置过,则指标对接选择历史创建的指标,后续则在该指标基础上增加新的聚合维度的计算口径
编辑自定义指标时,则需指定SQL后进行编辑;删除自定义指标时,可指定SQL删除,也可删除整个指标
- 复合指标定义聚合函数的作用调整:
因计算调整,对应的关联键选择功能将去除,改为直接基于聚合维度自动拼接生成
- 指标市场结果查询先指定聚合维度后,再做结果查询(落表查询的指标选择某个维度组合,即席查询的指标选择多个维度)
- 支持一个API定义多个维度组合。基于API的服务编排功能创建API,API调用者可指定维度组合调用对应的结果表(目前仅支持基于落表的维度组合创建API),对应的API任务是每个维度组合一个宽表聚合任务(Trino额外涉及一个数据同步任务) 若将其中某个维度组合设置为默认,则当入参未传入维度组合编号时,返回默认维度组合下的数据
注:因API结构调整,历史API不可编辑,但发布/禁用/调用均可基于原来的接口规则正常使用
数据权限设置时,可在指标层面对维度设置行级权限,指标值层面的行级权限还是原来的基于表设置(即席查询的指标不可设置指标值层面的行级权限)
仅通过平台落表的指标支持设置告警规则,每个指标结果表会做一次告警监控
【6.2】支持自助查询指标不同聚合维度的数据结果
背景:
指标平台之前只提供了指标计算功能,生成的数据结果只能在指标市场中做单表查询,或是通过API调用,不方便业务方综合查询、分析数据,新增自助取数功能解决上述问题。 功能:指标应用模块新增「自助取数」功能
- 用户可灵活选择时间段、指标、维度、筛选条件进行数据查询,系统基于指标定义规则自动拼接SQL查询数据结果
- 支持下载查询结果,便于做后续数据分析
- 支持查看查询SQL,以校验数据结果的准确性
【6.2】支持将自助取数条件保存为模版方便后续常规查询
功能:
- 自助取数过程中,可以将查询条件保存为模版,后续可直接基于模版快速设置查询条件后取数
- 取数模版中点击特定模版的「取数」即可进入自助取数页面填充对应条件
【6.2】统计周期支持定义统计粒度
背景:
历史创建的统计周期,系统无法快速判断统计时间区间段,对于按日统计的指标,指标数据查询时会有汇总一段时间数据查看数据总体情况的需要
功能:
- 统计周期增加统计粒度字段,系统内置的「当日」的统计粒度为日,其他暂无统计粒度。
- 自定义的统计周期,若定义统计粒度为日,则统计周期结束时间与开始时间相同,定义开始时间即可。
- 自助取数时,针对基于统计粒度为日的统计周期创建的派生指标及其后续的复合指标,可选择数据汇总展示,勾选后,则可对查询日期段的数据做汇总,呈现一条整体数据
功能优化
【6.2】创建项目schema对接提示文案优化
【6.2】数据模型列表增加更新人字段
【6.2】模型详情展示信息补充模型编码等配置信息
功能:
- 增加模型编码信息
- 基本信息:「模型信息」中增加「模型编码」、「更新人」、「更新时间」、「指标数据由平台生成」字段
- 基本信息:「数据信息」-「表信息」中增加展示主表信息,并且增加列:「更新方式」、「行更新」(版本变更记录中同步补充)
- 增加「应用信息」tab,显示引用了该模型的原子指标和业务限定的信息
【6.2】派生指标中的统计周期字段类型转化逻辑优化
背景:
历史统计周期选择的时间字段仅支持varchar、date格式,其他格式字段无法正常运行任务。
功能:
将字段转换为date类型做时间区间比较
【6.2】自定义指标编写提示文案优化
历史编写提示文案中存在部分不清晰的描述,本次将红框内内容优化为如图所示的内容