离线任务与质量任务绑定做质量校验

概述

我们通过离线任务与质量任务绑定的方式，能第一时间感知离线任务中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延，保障企业数据质量。

质量任务绑定离线任务

在「数据质量->规则配置->新建监控规则」中可以新建「单表校验规则」，详细操作可查看数据质量相关帮助文档。

「单表校验规则」创建完成后，查看规则详情，点击「编辑调度属性」，如下图所示

可在编辑调度属性面板中，可以进行离线任务关联，如下图所示

可关联的任务，如下图所示，可以选择任一租户、项目、离线产品下提交至调度的任务进行关联

当质量规则关联离线任务后，周期运行质量规则需要同时满足以下两个条件：

• 达到规则自身的「调度周期」配置时间

• 关联的离线任务运行成功

当质量规则运行完成后，会给关联离线任务返回「规则强弱」和「规则运行结果」信息，如果是强规则校验未通过/运行失败，则关联的离线任务会置为失败，下游任务将处于等待运行状态，脏数据不会向下游传递。

如图所示，离线任务B1关联了质量任务，离线任务B2为离线任务B1的下游，在离线任务B1中，会向表D中写入数据，离线任务B2会从表D中读取数据。

当离线任务B1在调度执行后，质量任务会在离线任务B1之后执行，查询表D中是否符合质量任务的规范，是否存在脏数据。若不存在脏数据，则离线任务B1运行成功，离线任务B2将正常运行；若存在脏数据，则离线任务B1置为运行失败，防止脏数据向下传递。

运维中心展示

当离线任务与质量任务绑定时，在离线运维中心将会特殊处理进行标识，如下图所示

在任务属性一栏会展示绑定的数据质量任务信息。