Skip to main content

脏数据管理

  • 功能说明:质量平台的规则运行,对于校验未通过的规则,系统会存储记录不符合规则的明细数据,非实时校验的明细数据默认会存储在校验数据的源库下(需要源库的写入权限)。 通过该功能,用户可指定该数据的独立存储库和存储时效,与源库隔离(只需要源库的读取权限)。
tip

实时校验的明细数据默认存储在平台的MySQL库中,不允许修改。所以Kafka数据源没有校验数据管理功能,校验数据存储记录为“平台”

新增独立存储

  • 新增存储需配置校验数据源的脏数据存储库和数据存储时效。

image-20221118104812462

tip

一个数据源只能新增一个脏数据独立存储,若数据源已新增脏数据独立存储,则可在列表中直接编辑;每个校验任务运行后均会自动生成一张表,用于存储质量校验数据明细,到期后将自动删除该表。