Skip to main content

元数据同步

概述​

实现逻辑：通过数据源连接，利用预置的元数据查询SQL，从数据源获取元数据信息，并通过DataSourceX插件，将查询到的元数据同步至资产平台。常见Q&A如下：

  • Q1：同步性能怎么样，对源库有没有压力？
  • A1：元数据采集的数据量和数据采集相比是非常小的，因此性能压力方面不存在瓶颈问题。
  • Q2：为什么有些数据源需要开通所有表的查询权限才能采集元数据？
  • A2：部分元数据信息无法直接在元数据表中直接获取，需要遍历每张表。
  • Q3：元数据采集到底采集了哪些东西？
  • A3：每个数据源均有所差异，具体可查看各个数据源的「数据地图-基本信息」的技术属性和表结构信息。

周期同步​

新增周期同步任务：配置同步内容和调度配置，包括数据源信息、过滤信息、同步规则和告警通知。系统定期自动同步该数据源中所有库表的元数据信息。

image-20221117204112353

  • 过滤数据：当用户不希望在资产平台展示一些系统表、临时表或者需要保密的表时，可以在此处配置需要过滤的数据库/表。在元数据同步任务执行时，会自动过滤掉该部分表，不做采集。

    image-20221117204141385

  • 同步规则：目前支持天、周、月的调度周期。

    image-20221117204304560

  • 临时同步：临时同步的任务只执行一次且不可再次编辑。

同步实例​

每次同步均会生成一条同步实例，记录同步时间、同步状态等信息，对于同步失败的表，用户可通过查询日志定位问题。

image-20221117204416822

实时同步​

info

该功能仅旗舰版支持。

  • 实时同步：开启实时同步后，当源库发生DDL操作时，资产平台会实时同步发生变更的表。

    image-20221117204435331

    tip

    实时同步目前只支持“Hive2.x、SparkThrift2.x”数据源，并且对应的数据源连接信息需要在高可用配置中维护上hive.metastore.uris参数

告警通知​

  • 当元数据同步发生异常状态时，可以对相应的用户发出告警。

    image-20220926163625514

    tip

    告警通知触发机制：

    ①在无人为停止同步的情况下，周期同步实例运行未完成，会触发告警通知

    ②在实时同步开启状态下，检测到实时任务异常时，会触发告警通知

    如果租户在「控制台-告警通道」中配置了自定义通道，告警通知配置需要显示「自定义告警通道」选项，否则不显示