6.0.1更新日志
上线时间:2023-03-30
功能新增
【6.0】trino跨源校验支持tdsql、inceptor
需求背景:项目上需要实现tdsql表和inceptor表的跨源校验
功能:数据源中心connector配置新增tdsql、inceptor,trino支持tdsql、inceptor的单表、多表、规则集校验
trino的inceptor:已支持inceptor的质量校验,通过trino引擎连接inceptor时,单表、多表、规则集校验功能与inceptor本身保持一致
trino的tdsql:tdsql与mysql类似,通过trino引擎连接tdsql时,单表、多表、规则集校验功能与mysql类似
【6.0】自定义角色
需求背景:满足客户侧自由设定不同角色的权限点,不同客户可能会有不同的需求,目前的角色固定权限点的方式不够灵活,自由新增角色且配置权限点,可以满足不同客户的角色及对应权限点的个性化需求
资产平台可查看相关角色及权限点配置:
设置-角色管理可进行角色配置和权限点指定:
- 固有角色的编辑、新增角色的编辑与创建做到【租户级】
- 新增了角色后,默认给的权限点——【访客】
- 自定义角色只有超管能进行编辑新增吗——【是的,租所、租管是否能够编辑新增通过权限点控制】
- 还有租户所有者、租户管理员、管理员、数据开发、访客这5个角色有哪些是不可编辑的——【这些角色内置,功能点都可勾选】
- 所有权限点在所有角色下面都放开勾选,不考虑置灰禁用、必填、必不填、连带必填这些——【后期做优化】
【5.3】代码规则检查
功能背景:
数据开发人员代码水平不一,导致代码书写混乱,SQL代码运行问题较多,利用SQL检查规则规范化SQL代码,对代码书写问题进行拦截,便于统一管理,用于预防引入需要治理的问题。
功能介绍:
规则管理:支持内置规则,同时也支持注册规则,满足不同客户的个性化代码检查规范。
内置规则:
注册规则:
注册规则文件:
生效环节:检查规则支持对文件提交、运行的前置事件进行检查。
生效结果:检查开启后,设定为阻塞的检查规则,检查不通过将阻塞对应事件的流程;设定为提示的检查规则,检查不通过时离线侧可忽略提示,仍然正常提交。检查规则触发后发现的事件称之为检查规则事件。
功能优化
【5.2】数据目录批量指定
支持数据目录批量指定,满足手动配置、批量发布、整库发布的方式批量指定目录。
【5.2】质量校验ADB确认
需求背景:该项目由ADB连接oushuDB数据库,不支持create table if not exits语法,导致校验规则报错,基本上就是质量模块不可用状态。
需求描述:目前完整性校验报错,需要解决已有问题,且需要把其他剩余sql也跑下,确保没问题
质量规则优化
【5.2】创建任务回滚机制
当质量任务绑定离线任务时,绑定失败,质量任务仍然会创建成功,需要做到两个之中任意一个失败了,质量规则创建失败
【5.2】脏数据存储变更,质量任务重新提交
切换完独立数据校验要重新保存一下任务,不然去获取脏数据的时查的是独立库,但是sql跑的是之前的库,在切换脏数据独立存储后,把相关任务重新提交,包括新增/编辑
体验优化
【5.3】导入优化
支持数据标准导入
判断重复逻辑:【包含导入文件内的数据重复比对,也包含导入文件内与平台已有的数据比对】
「重复则跳过」:保持现有逻辑,目前自动忽略掉重复的,三个字段(中文名称、英文名称、英文缩写)任一重复都无法导入——保持现有逻辑
「重复则覆盖更新」:有重复的记录要做更新操作,(中文名称、英文名称、英文缩写)三个字段都保持一致时,且选择了覆盖更新逻辑,则进行更新
支持下载异常记录
异常记录支持查看失败原因
【6.0】资产盘点-tips
资产盘点页面增加tips提示数据t+1更新