单表校验规则案例
假设有一张用户表,包含3个字段: id、name、age
,每个用户是表中的一行,其内部数据如下图所示:
用户需要对该表配置如下的规则: age>10的这些用户,检测id字段为空的数据量占比不能超过5% 。 当数据不满足要求时,希望能实时收到预警消息:
以上需求可以分解为3个步骤来执行: Step1:明确目标数据 需要对id字段做校验,且需要将age<10的用户过滤掉,即圈定出目标数据:
Step2:执行校验逻辑 对圈定完成的数据范围进行指标统计,本例中需要统计空值的数据量占比,即空值率:
Step3:期望值判断 第二步的校验逻辑执行完成后得出统计值,第三步就是对统计值是否符合要求进行判断:
以上3个步骤就是一条校验规则的后台步骤分解,通过这3个步骤即可判断数据内容是否符合要求,若不符合系统可自动发送告警。