2023年4月更新日志
发布时间:2023-04-04
功能新增
增加维度管理模块,支持设置维度对象、维度属性(上线版本:V5.3)
背景:
- 目前指标产品只支持一层维度,用户选择起来麻烦。如“客户”有“客户ID、客户名称、客户手机号”等维度,当用户在派生和复合层选择时,需要一个个点,故考虑维度支持2层,选择一级维度时,默认选中下边的二级维度,产品上会增加“维度管理”模块。
- 客户方会有复合指标依赖的2个派生指标用到同一个维度的需求,两个维度未在数据模型中做关联,从而导致无法在当前项目内创建复合指标。本次优化产品侧通过绑定维度管理中的维度属性来支持指标间的维度识别。
功能:
- 「指标中心」-「数据管理」新增「维度管理」模块
- 新增“维度对象”、“维度属性”概念,一个维度对象包含多个维度属性,支持一个维度对象下不同的维度属性来源于不同的维度表,支持一个维度属性关联不同的维度表。
- 增加主维表、次维表概念。每个维度对象有一张主维表,多张次维表,主维表主要起到批量创建维度属性的作用,次维表主要起到关联维度属性的作用,后续用于识别维度一致性。新建维度对象时,同步选择主维表,批量生成维度属性,后续新增维度属性可通过「新建维度属性」实现,将其他次维表字段关联到已有维度属性通过「关联维度属性」实现。
- 维度信息引用:
(1)模型绑定维度对象、维度属性:【第三步:选择维度】选择维度时,需要将模型中需要选择作为维度的字段与维度管理内容绑定,后续的维度一致性识别将基于此处关联的维度对象、维度属性信息确定(系统将默认填充已在维度管理中关联的表字段对应的维度对象、维度属性信息)
(2)自定义指标绑定维度对象、维度属性:【第二步:设置维度信息】选择为维度列的字段,该字段绑定所需的维度对象、维度属性信息
- 维度一致性识别 (1)复合指标维度一致性识别:根据是否绑定同一维度属性决定维度选择中的维度内容是否可选 (2)API一致性识别:根据是否绑定同一维度属性决定是否是同一维度
数据模型支持落表(上线版本:V5.3)
背景: 派生指标是基于模型所用的源表进行指标加工,实际使用中,使用同一模型的多个派生指标频繁重复使用数据源时,当数据源的数据量较大时,加工效率会变慢,此时需要将模型落表以提高加工效率
功能:
「新建模型」中的【第五步:设置】中的模型存储选项,选择存储为物理表,并配置表信息、调度信息,包括表名称、任务名称调度周期、出错重试,也需要设置数据生命周期信息。指标发布后,系统将提交模型任务周期计算数据落表。
数据模型中选择的拉链表支持自定义匹配日期字段(上线版本:V5.3)
背景: 数据模型中设置了一个增量分区表(左表),并匹配了一个拉链表(右表),左表包含两个时间字段(一个是用于分区的时间字段,另一个是用于和拉链表的开始/结束时间做匹配的时间字段),目前平台只支持匹配分区时间字段,不支持普通的时间字段,导致模型无法正常创建。
举例:
a表:分区表,表内有2个时间字段,其中一个是下单日期,用于分区,另一个为加购日期;
b表:拉链表,作用:设置客户经理的分成比例,需要根据a表中的加购日期确定分成比例 针对上述场景,目前的模型功能设计无法支持,需要对功能做优化以让用户自定义匹配的日期字段
功能:
【第二步:表关联】模型关联表中添加的关联表为拉链表时,拉链表的开始、结束时间可选择直接匹配左表的分区字段(业务日期),也可匹配左表的某一特定的时间字段(左表时间自定义)
增加业务限定模块,支持批量设置指标计算过滤条件(上线版本:V5.3)
背景: 派生指标加工过程中,针对同一模型、相过滤条件,针对不同聚合维度、不同计算公式需要生成不同的派生指标的场景,为提高指标加工效率,过滤条件可抽离出来在上层进行业务管理时提前生成业务限定,后续直接引用即可。
功能:
- 「指标中心」-「数据管理」新增「业务限定」模块
- 新增/编辑业务限定
- 派生指标加工时的过滤条件设置变更为业务限定选择
统计周期增加上季末、上年末参数(上线版本:V5.3)
背景: 指标加工过程中,会有加工季度末、年度末的统计周期设置需要,当前无法通过可视化加工实现,只能通过自定义指标实现,本次功能迭代通过可视化配置方式实现该需求场景
功能:
上季末参数:${bdp.system.preqrtrend}
上年末参数:${bdp.system.preyrend}
统计周期设置上季末的数据的设置方式如下:
统计周期支持自定义周期标识(上线版本:V5.3)
背景: 统计周期之前只支持设置周期名称,当名称变更后,未被通知到的用户不易正确识别到所需周期,本次加入周期标识,方便定位周期唯一性。
功能:
新增统计周期时,可配置周期标识,字段在周期列表中同步展示
指标表名称支持自定义(上线版本:V5.3)
背景: 客户加工表的过程中,会根据自己的特定规则生成表名称,目前指标生成的表名称是根据系统内置条件生成,不便于客户定位表
功能:
新增指标的「设置调度信息」步骤中,设置指标表名称(编辑时不可修改)
试计算增加表结构预览(上线版本:V5.3)
背景: 未生成指标表前,客户仅能根据SQL判断表内的字段信息,为方便查看表结构,在查看SQL信息的同时,可通过可视化方式查看对应的表结构信息
功能:
复合指标支持自定义关联键(上线版本:V5.3)
背景: 历史功能是将选择的维度作为关联键,生成如下SQL: select A.性别,avg(A.消费金额 / B. 消费人数) from A left join B on A.性别 = B.性别
但实际SQL编写中,存在聚合维度与关联键设置不一致的情况,期望生成下列SQL: select A.性别,avg(A.消费金额 / B. 消费人数) from A left join B on A.user_id = B.user_id
实际加工结果与期望不符
功能:
「维度设置」模块的「关联键选择」自定义设置多个关联键,若两个字段的字段类型不一致,需要选择需要转换的字段类型,以保证关联键可以正常匹配
功能优化
数据模型调整为项目级别(上线版本:V5.3)
背景: 维度管理为项目级别功能,基于维度管理后续创建的模型、指标需要匹配对应的维度信息,因此数据模型需调整为项目级别,以便数据模型绑定的维度不受影响
功能: 模型列表的模型数据为当前项目使用内容,其他项目不可查看到
原子指标加工方式升级,可自定义公式(上线版本:V5.3)
背景:
原来的原子指标是将模型字段做直接映射,映射后的原子指标需先生成派生指标/复合指标,再与其他指标表做加工,此时需要有公共维度存在,否则无法进行指标加工,无法满足维度不一致的字段的加工 如:表A存储字段:客户,城市,贷款金额;表B存储字段:城市,贷款利率
需要加工的指标为根据客户所属城市的贷款利率计算每个客户的贷款利息,公式:贷款利息 = 贷款金额 * 贷款利率
功能:
原子指标层针对模型可自定义公式,以解决上述指标加工场景,后续派生指标将直接引用原子指标定义的公式进行数据计算
- 新增原子指标【第一步:设置技术信息】
(1)选择模型:从页面左侧选择需要进行指标加工的模型
(2)设置原子指标的计算公式,一次可以批量新增多个原子指标,公式校验通过后,即可进行后面的指标基本信息设置(基本信息设置与原来的设置规则相同,此处不做赘述)
派生指标的技术信息设置方式变更(上线版本:V5.3)
功能:
- 维度选择:由取原子指标的维度改为取原子指标所引用模型的维度(显示对应的维度对象、维度属性信息),并可针对一批维度批量选中对应的维度对象
- 过滤条件设置:由原来的根据模型依次配置条件调整为直接引用业务限定中配置的业务限定规则,可一次添加多个业务限定规则
复合指标选择的过程指标范围去除原子指标(上线版本:V5.3)
背景: 原子指标加工方式升级后,已不具有业务含义,此时无法直接对原子指标做复合计算
功能:
新增复合指标【第一步:设置技术信息】中的指标目录中不包含原子指标
复合指标规则设置模块功能划分优化,降低理解难度(上线版本:V5.3)
背景: 之前的规则设置模块功能划分中,过程指标的条件设置与指标结果的设置均放到了维度设置中,点击单个指标的操作范围不便于理解,基于操作习惯、理解难度对功能模块重新做了划分
功能: 整体包含三个模块:维度设置、结果设置、过程指标详情
(1)维度设置:包含复合指标结果表所需的维度、各过程指标结果表关联方式及关联键选择。
(2)结果设置:保存精度、取整方式、为空默认值、计量单位
(3)过程指标详情:针对单个过程指标设置维度过滤、结果过滤条件
数据模型的备注信息优化(上线版本:V5.3)
背景: 编辑数据模型,修改备注信息,保存后的模型列表页的备注信息显示的线上版本内容,未针对最新保存内容做更新
功能: 编辑数据模型,修改备注信息保存后,模型列表页显示最新保存的备注信息
多选下拉列表优化:多次选择后,目录仍可正常显示可选内容(上线版本:V5.3)
SQL指标Catalog解析优化(上线版本:V5.3)
背景: SQL指标中没有解析SQL语句中用到的catalog,导致SQL指标后续进行复合指标、API查询时报错
功能:
- 解析SQL指标语句,解析Catalog、表级血缘关系、字段级血缘关系
- 修复复合指标、API查询SQL指标时的报错