Skip to main content

元模型管理

元模型

  • 每个「数据源类型」对应一个元模型。因为每个数据源类型的元数据结构均不一样,如Hive元数据能采集到存储大小、创建时间这些属性,但是Kafka却没有这些元数据。
  • 每个元模型包含技术属性通用业务属性个性业务属性,这些属性项的信息最终通过「数据地图-基本信息」页进行查看。
  • 下文以Hive元模型为例进行介绍:

技术属性

  • 自动从数据源采集的表信息,包括:表名、所属数据库、创建时间、DDL最后变更时间、存储位置、存储大小、最近同步时间。
  • 表结构信息也属于技术属性,由平台采集获取。不过内容比较独立,不在此处体现。用户可直接在「数据地图-基本信息」页查看。
  • 此类属性不支持编辑维护。
  • 如客户有额外的技术属性查看需求,需通过产品迭代支持。

通用业务属性

属性说明

  • 这类属性描述的是该数据源类型中所有表的业务属性,常见的通用业务属性有:主题域、数仓层级等。
  • 系统默认为每个数据源类型固定了两项通用业务属性:负责人、表中文名。
  • 管理员在此处维护属性项后,由数据开发在「元数据管理」模块维护各个属性项中的属性值。

自定义属性项

  • 目前支持自定义三种类型的属性项:枚举型、文本型、树形目录型。
    • 枚举型: 新建一个枚举型属性,如数仓层级,然后预设属性值ODS、DWD、DWS、ADS。创建完成后,数据开发在「元数据管理」模块维护表的数仓层级属性时,可以为表选择合理的属性值,如ODS。
    • 树形目录型: 新建一个树形目录型属性,如主题域,然后预设一棵目录结构树。数据开发在「元数据管理」模块维护表的主题域属性时,可以为表对应的目录节点,如“信用卡业务 > 还款数据”。
    • 文本型: 新建一个文本型属性,如描述信息,然后约定文本数据格式(STRING/BIGINT)。数据开发在「元数据管理」模块维护表的描述信息时,可以在输入框内输入符合格式要求的自定义内容。

image-20221117205658061

个性业务属性

属性说明

  • 这类属性不适用于描述某个数据源类型中所有的表,仅适用于具体某个特定数据库中的表。
  • 常见的场景:比如有一个专门存放风控模型的数据库,该数据库中表可能就需要维护模型有效期模型训练周期等业务属性。这类业务属性并不适用于其他表。

自定义属性项

  • 用户首先创建一个子模型,然后在子模型中维护个性业务属性项,最后将子模型应用到某个数据库上。
  • 个性业务属性的维护逻辑和通用业务属性相同。

image-20221117205735145