指标引擎与脚本
计算引擎
目前指标平台支持将Trino/Doris作为计算引擎进行指标数据的读写操作。
- 若使用Trino作为计算引擎,可读取hive数据,并将计算结果写入hive指定库中。
- 若使用Doris作为计算引擎,可读取Doris支持的数据源数据,并将计算结果写入Doris指定库中。
各引擎支持的版本情况:
引擎类型 | 引擎版本 | 读取数据源类型 | 写入数据源类型 | 指标支持版本 |
---|---|---|---|---|
Trino | 359及以上 | Hive | Hive | 5.2及以上 |
Doris | 2.x及以上 | Doris支持的数据源 | Doris | 6.2及以上 |
计算脚本
在指标平台中,通过指标任务的周期性调度任务执行来落地指标计算结果,具体的计算脚本为系统根据指标的配置信息自动生成,不同的计算引擎,任务的脚本类型不同,脚本内容整体包括两部分:
- 创建表:创建指标结果表的sql脚本,遵循‘CREATE TABLE IF NOT EXISTS…’的格式;
- 插入表:往创建的指标结果表里插入数据的sql脚本,具体的数据逻辑即为对应指标的技术口径,主要为'INSERT INTO SELECT...'格式;
脚本示例:
note
在指标的调度信息中,点击指标任务,即可查看任务对应的脚本详情。
note
不同类型的指标脚本生成规则会有所有不同,具体可以见指标开发章节。