Trino数据源介绍

一、需求背景

• 基于各数据源JDBC执行的质量校验任务，运行速度慢，需要加入OLAP引擎支持。Trino支持适用于交互式分析查询，用来专门进行高速、实时的数据分析。引入Trino数据源，达到提升运行速度，提高计算效率的目的。
• 无法跨源校验对比多表的数据质量，Trino支持异构数据源互通。引入Trino，解决跨源多表比对场景需求。

二、功能介绍

Trino数据源连接

• 数据源连接：

  1. 可在“数据源中心”配置Trino数据源，支持连接平台自带的Trino数据源，也支持链接外部Trino数据源。
  2. 在质量平台选择已连接的Trino数据源。

• 数据源说明：connector支持几种常见的且官方已支持的数据源类型：Hive、MySQL、Oracle、PostgreSQL、SQLServer、Inceptor、tdsql。

  • 自带的Trino数据源：支持新增connector管理，不支持同步现有的connector。

  

  

  • 外部Trino数据源：不支持新增connector管理，支持同步现有的connector。

  

Trino数据源单表校验

• 基本流程与其他「单表校验规则」相同，参数有略微不同，需要填写catalog和Schema。

只有connector是Hive/inceptor的Trino数据源才会出现分区配置项。其他connector无该配置项。

Trino数据源跨源多表校验

• 基本流程与其他「多表校验规则」相同，参数有略微不同，需要填写左表和右表的catalog、Schema。