标准映射
功能背景
在模块整体介绍中,我们提到了数据标准的后置应用,而标准映射就是数据标准后置应用的一种基础场景。 将数据标准和字段进行映射匹配,发现存量数据中的标准化数据; 将数据标准和匹配字段进行绑定,规范字段元数据信息,校验字段数据标准性(校验功能尚未支持,后续迭代)。
功能逻辑
映射匹配
- 映射逻辑:
- 先将【标准英文名称/英文缩写】按下划线进行分词,然后在「词根管理」中查出和分词结果100%命中的【词根简称/词根英文名】,最后得到 {分词结果A,词根简称B,词根英文名C} ,我们称之为集合A。 举例: 【loan_amt】数据标准,分词后得到{loan,amt}。然后在「词根管理」中查到【loan-loan】、【amt-amount】,最后得到的集合A={loan,amt,amount}。
- 然后将映射目标中的每个字段按下划线/大小写间隔进行分词,然后将分词结果和集合A进行匹配。 举例: 【loan_amount】字段,分词为{loan,amount},则匹配度为100%; 【LoanAmt】字段,分词为{Loan,Amt},则匹配度为100%; 【loan_sum】字段,分词为{loan,sum},则匹配度为50%。
- 最后根据匹配度,倒序展示匹配度最高的前1000个字段名。
- 新建映射:
- 选择需要进行映射匹配的数据标准和映射目标。
- 映射任务新建完成后,列表会展示每个数据标准的映射记录。详情页会展示和该数据标准匹配上的字段信息。
字段绑定
- 在映射记录中,可通过绑定操作,将数据标准绑定至对应的字段上。绑定后在「元数据」模块中查询表结构信息时,可直接查看该字段的标准信息。
- 对于无法通过映射匹配上的字段,支持用户手动选择字段进行绑定。