Skip to main content

6.0.1更新日志

上线时间:2023-03-30

功能新增

【6.0】trino跨源校验支持tdsql、inceptor

需求背景:项目上需要实现tdsql表和inceptor表的跨源校验

功能:数据源中心connector配置新增tdsql、inceptor,trino支持tdsql、inceptor的单表、多表、规则集校验

trino的inceptor:已支持inceptor的质量校验,通过trino引擎连接inceptor时,单表、多表、规则集校验功能与inceptor本身保持一致

trino的tdsql:tdsql与mysql类似,通过trino引擎连接tdsql时,单表、多表、规则集校验功能与mysql类似

【6.0】自定义角色

需求背景:满足客户侧自由设定不同角色的权限点,不同客户可能会有不同的需求,目前的角色固定权限点的方式不够灵活,自由新增角色且配置权限点,可以满足不同客户的角色及对应权限点的个性化需求

资产平台可查看相关角色及权限点配置:

img

设置-角色管理可进行角色配置和权限点指定:

img

img

s
  • 固有角色的编辑、新增角色的编辑与创建做到【租户级】
  • 新增了角色后,默认给的权限点——【访客】
  • 自定义角色只有超管能进行编辑新增吗——【是的,租所、租管是否能够编辑新增通过权限点控制】
  • 还有租户所有者、租户管理员、管理员、数据开发、访客这5个角色有哪些是不可编辑的——【这些角色内置,功能点都可勾选】
  • 所有权限点在所有角色下面都放开勾选,不考虑置灰禁用、必填、必不填、连带必填这些——【后期做优化】

【5.3】代码规则检查

功能背景:

数据开发人员代码水平不一,导致代码书写混乱,SQL代码运行问题较多,利用SQL检查规则规范化SQL代码,对代码书写问题进行拦截,便于统一管理,用于预防引入需要治理的问题。

功能介绍:

规则管理:支持内置规则,同时也支持注册规则,满足不同客户的个性化代码检查规范。

内置规则:

img

注册规则:

img

注册规则文件:

img

生效环节:检查规则支持对文件提交、运行的前置事件进行检查。

img

生效结果:检查开启后,设定为阻塞的检查规则,检查不通过将阻塞对应事件的流程;设定为提示的检查规则,检查不通过时离线侧可忽略提示,仍然正常提交。检查规则触发后发现的事件称之为检查规则事件。

img

功能优化

【5.2】数据目录批量指定

支持数据目录批量指定,满足手动配置、批量发布、整库发布的方式批量指定目录。

【5.2】质量校验ADB确认

需求背景:该项目由ADB连接oushuDB数据库,不支持create table if not exits语法,导致校验规则报错,基本上就是质量模块不可用状态。

需求描述:目前完整性校验报错,需要解决已有问题,且需要把其他剩余sql也跑下,确保没问题

质量规则优化

【5.2】创建任务回滚机制

当质量任务绑定离线任务时,绑定失败,质量任务仍然会创建成功,需要做到两个之中任意一个失败了,质量规则创建失败

【5.2】脏数据存储变更,质量任务重新提交

切换完独立数据校验要重新保存一下任务,不然去获取脏数据的时查的是独立库,但是sql跑的是之前的库,在切换脏数据独立存储后,把相关任务重新提交,包括新增/编辑

体验优化

【5.3】导入优化

支持数据标准导入

判断重复逻辑:【包含导入文件内的数据重复比对,也包含导入文件内与平台已有的数据比对】

  • 「重复则跳过」:保持现有逻辑,目前自动忽略掉重复的,三个字段(中文名称、英文名称、英文缩写)任一重复都无法导入——保持现有逻辑

  • 「重复则覆盖更新」:有重复的记录要做更新操作,(中文名称、英文名称、英文缩写)三个字段都保持一致时,且选择了覆盖更新逻辑,则进行更新

img

支持下载异常记录

img

异常记录支持查看失败原因

img

【6.0】资产盘点-tips

资产盘点页面增加tips提示数据t+1更新

img