Skip to main content

规则报告

单表校验规则报告

一、监控报告

  1. 任务查询 页面中,点击表名,在右侧弹出的第一个面板中列出了此任务执行的校验结果,校验结果中包括了每条校验规则的配置信息和统计值。
  2. 点击列表右上角的 查看趋势 可以浏览此指标最近30天内的变化趋势,辅助用户判断此指标是因数据突变或者缓慢变化而触发告警的。趋势图中同时标注了用户配置的期望值,辅助用户分析何时触发告警。
  3. 对于 格式校验类 规则,点击右上角的 查看明细, 可显示未通过校验的明细数据。

二、表级报告

对某张表配置了任何校验规则后,表级报告会由系统自动生成。

基本信息 包括表名、分区总数、表类型,分区的概念对Hive、MaxCompute等大数据存储才有效。如果是MySQL等关系型数据库,则分区总数会显示为空。

表级统计 最近一次执行时,其表的总记录数和引发的报警数量,对于分区表,其记录数仅为被校验的分区的记录数,而不是所有分区的记录数。

最近30次综合报告

  1. 记录数平均波动率:SUM(最近30天,每天记录数的波动率)/29;某一天的记录数的波动率=当天的记录数/前一天的记录数-1。波动率越高,说明业务系统产出的数据量不稳定,更容易触发告警。
  2. 平均记录数:SUM(最近30天,表或分区每天的记录数)/30。表平均每天的记录数有多少。
  3. 日平均告警数:SUM(最近30天,每天的告警总数)/30。
  4. 平均告警率:SUM(最近30天,每天的告警总数)/SUM(最近30天,每天的规则数求和)。
tip

平均告警数、平均告警率越高,说明这张表经常出问题,或者规则配置过于严格,容易触发告警

最近30次表级统计 列出最近30次校验的执行时间、检测的分区、对应分区的记录数和触发的告警数量。

最近30次表数据波动图 以曲线图的形式显示最近30天表内数据量的变化趋势和触发的告警数量。

tip

以上各统计模块,不足30天时,按照实际天数计算。

多表比对规则报告

一、整体校验

显示左右两张比对表的表名、分区名、所在数据库类型、表或分区的总记录数。

二、未匹配数据报告

统计左右两张表比对的整体情况,包括四种情况。

  1. 匹配成功:统计左右两张表数据一致的行数。
  2. 逻辑主键匹配,但数据不匹配。
  3. 左表数据在右表未找到。
  4. 右表数据在左表未找到。

三、具体差异

系统自动列出所有没有匹配的数据,数据列包含左右表的所有列,点击右上角的 下载 icon,可下载明细数据。