Skip to main content

规则集

什么是规则集

规则集是规则的集合,一个规则集可以代表一个业务领域的质量校验。规则集中的规则统一管理、统一调度,后续做质量报告也会基于规则集进行统计。

为什么要有规则集

  • 以表为粒度的规则配置只能满足开发人员的基本需求,无法响应到很多业务上的管理、统计需求。
  • 规则集方便用户对规则进行批量管理,以主题视角进行管理,而不是零散地配置规则、调度配置等。

image-20220929154152306

新建规则集

基础信息

  • 填写规则集名称、校验数据源、规则集描述。
  • 这里选择数据源的作用是导入sql的执行路径。

image-20221118104225910

规则内容

目前只支持导入规则,后续迭代会支持新增方式。

image-20221118104318706

  • 上传规则:只能上传一个,上传大小限制20MB。不符合文件模版格式的(列不一致、列名不一致、必填列存在空值)将无法上传并提示报错信息。

  • 文件模版内容如下:

* 规则名称规则描述* 表名表中文名字段名字段中文名* 校验SQL(请输入不符合规则要求的明细数据查询SQL)

调度配置

  • 根据调度配置,周期执行导入的规则。
  • 通过高级配置,执行时系统会自动拼接参数,完成完整的sql执行。
    • 代码拼接:对于sql中不带变量的情况,可以通过这个配置项,执行时系统能够自动拼接分区参数,完成完整的sql执行。

image-20221118104400950

告警触发方式

  • 当任务实例校验失败/校验不通过时发送通知告警,校验成功则不发送通知。