规则报告
单表校验规则报告
一、监控报告
- 在 任务查询 页面中,点击表名,在右侧弹出的第一个面板中列出了此任务执行的校验结果,校验结果中包括了每条校验规则的配置信息和统计值。
- 点击列表右上角的 查看趋势 可以浏览此指标最近30天内的变化趋势,辅助用户判断此指标是因数据突变或者缓慢变化而触发告警的。趋势图中同时标注了用户配置的期望值,辅助用户分析何时触发告警。
- 对于 格式校验类 规则,点击右上角的 查看明细, 可显示未通过校验的明细数据。
二、表级报告
对某张表配置了任何校验规则后,表级报告会由系统自动生成。
基本信息 包括表名、分区总数、表类型,分区的概念对Hive、MaxCompute等大数据存储才有效。如果是MySQL等关系型数据库,则分区总数会显示为空。
表级统计 最近一次执行时,其表的总记录数和引发的报警数量,对于分区表,其记录数仅为被校验的分区的记录数,而不是所有分区的记录数。
最近30次综合报告
- 记录数平均波动率:SUM(最近30天,每天记录数的波动率)/29;某一天的记录数的波动率=当天的记录数/前一天的记录数-1。波动率越高,说明业务系统产出的数据量不稳定,更容易触发告警。
- 平均记录数:SUM(最近30天,表或分区每天的记录数)/30。表平均每天的记录数有多少。
- 日平均告警数:SUM(最近30天,每天的告警总数)/30。
- 平均告警率:SUM(最近30天,每天的告警总数)/SUM(最近30天,每天的规则数求和)。
tip
平均告警数、平均告警率越高,说明这张表经常出问题,或者规则配置过于严格,容易触发告警
最近30次表级统计 列出最近30次校验的执行时间、检测的分区、对应分区的记录数和触发的告警数量。
最近30次表数据波动图 以曲线图的形式显示最近30天表内数据量的变化趋势和触发的告警数量。
tip
以上各统计模块,不足30天时,按照实际天数计算。
多表比对规则报告
一、整体校验
显示左右两张比对表的表名、分区名、所在数据库类型、表或分区的总记录数。
二、未匹配数据报告
统计左右两张表比对的整体情况,包括四种情况。
- 匹配成功:统计左右两张表数据一致的行数。
- 逻辑主键匹配,但数据不匹配。
- 左表数据在右表未找到。
- 右表数据在左表未找到。
三、具体差异
系统自动列出所有没有匹配的数据,数据列包含左右表的所有列,点击右上角的 下载 icon,可下载明细数据。