Skip to main content

2023年6月更新日志

发布时间:2023-06-28

功能新增

指标结果表历史数据支持行级更新(上线版本:V5.3)

背景: 绩效考核场景下,绩效分配规则由业务人员制定,通常规则的推出具有滞后性,即,规则是2023年4月1日推出,规则的生效时间从2023年1月1日开始执行,此时就需要对自2023年1月1日以来的数据做更新,全表更新的方式效率慢、占用资源大,只对受影响的行做更新将可缩短更新周期,对业务正常使用影响也相对较小。
功能: 行更新的整体操作流程如下:
第一步:创建数据模型时,对于源表涉及到行更新的hudi表,将其设置为需要行更新。 创建模型后,系统将为该表提供一个接口,供传入变更数据条件。

第二步:根据需要创建对应的指标。因模型中使用到了行更新表,后续指标都将通过spark计算,存储为hudi表。同时,因spark暂不支持并发写hudi表,调度中涉及到的跨周期依赖内容需要选择自依赖。

第三步:调用该表的行更新接口,传入变更条件。接口信息可通过「数据源管理」中的表详情查看。 系统将根据提前设置好的更新频率,针对已经接收到的变更记录,自动识别所有指标表中受影响的行,计算出新的结果后对历史数据做批量更新。 若数据的行更新具有紧迫性,也可点击「行更新」立即执行。 第四步:【数据源管理】模块中查询相关记录变更后的后续指标的行更新进度。

指标目录支持进行权限控制(上线版本:V5.3)

背景: 基于指标安全级别,需要将不同的指标授权给不同的人使用,通常指标目录是按业务划分,考虑操作的复杂性,计划将指标授权功能放到指标目录曾经,通过指标目录控制目录下所有指标的查看/编辑权限

功能: 点击目录右侧的「授权」按钮,打开目录授权窗口 授权页面,系统会默认将新创建的目录设置为全员可编辑,在此基础上,可修改为全员可查看、部分用户可编辑;也可关闭全员设置,只对部分用户开放查看、编辑操作。 授予权限的用户可看到该目录下的所有指标,新建/编辑指标时也可选择有权限的目录

指标支持自定义添加UDF函数(上线版本:V5.3)

背景: 系统目前支持的函数均为Trino支持的系统函数,在此基础上,会有部分场景需要用到用户自定义的函数,如:取上周一所在日期,该内容需要通过自定义函数来实现

功能: 针对Trino385版本,可在「函数管理」模块创建Trino自定义函数,创建成功的自定义函数可在自定义指标中被引用。 第一步:在平台创建自定义函数前,需要先写好自定义函数插件,并将文件打包成zip包。

第二步:点击「新建自定义函数」进入函数设置窗口,配置函数信息并将打包好的文件上传。 第三步:进入自定义指标新建/编辑页面,编写SQL并调用自定义函数。

插件编写实例:
(1)自定义函数编写 (2)编写插件

数据同步支持同步到Inceptor,生成hyperbase格式的表(上线版本:V5.3)

背景: 数栈底层支持使用TDH,上层对应的数据客户存储到了Inceptor,相应的,数据同步结果需要同步到Inceptor

功能: API访问数据源设置中,可设置Inceptor数据源

功能优化

指标共享增加详情信息显示(上线版本:V5.3)

背景: 指标共享模块功能改版,不方便查看已共享指标/模型的共享规则

功能: 点击共享的指标/模型名称,可查看对应的内容详情,包括共享信息及共享规则

指标共享生成的视图创建规则调整(上线版本:V5.3)

背景: 基于行更新功能产生Spark读写数据的场景,因Spark暂不支持查询Trino视图,需将视图从由Trino创建改为由Spark创建

功能:

  1. 指标/模型共享过程中涉及到的视图改为通过Spark创建
  2. 共享指标、模型生成的视图名称变更
    (1)模型视图名称:表名项目id模型codeindex_view
    (2)指标视图名称:指标结果表
    项目id_index_view