ChangeLog

合并说明

自数据资产v5.2.0起，数据质量平台合并入数据资产平台，数据质量的ChangeLog以后将并入数据资产进行维护。

5.1.1-beta

Release Date : 2022-03-31

New Feature

• 【项目删除权限点】有删除权限的用户：超管、租户所有者、项目所有者、项目管理员。同创建项目的权限点。

Improved

• 【数据源授权项目对接】数据源中心授权给项目/全部项目，质量端选择引入的数据源范围为已授权给当前项目的数据源。

5.1.0-beta

Release Date : 2022-03-10

New Feature

• 【项目列表】新增项目删除功能。
• 【新增数据源】支持hive3.x(cdp)数据源。

Improved

• 【多表比对】多表交互优化。

5.0.1-beta

Release Date : 2022-02-28

New Feature

• 【Hive1.x校验】Hive1.x数据源接入，满足客户Hive1.x数据校验需求。
• 【增量数据对比】支持跨源增量数据比对，满足数据同步场景的数据质量校验。
• 【浏览器适配】支持edge浏览器适配。

Improved

• 【告警优化】 : 新增单表规则名称+规则描述、多表规则名称、项目名称、租户、数据源描述，修改邮件名称，满足用户及时通过邮件获取相关告警信息。
• 【校验结果】查询明细（展示） : 「单表/单表自定义sql/多表/实时」 : 100条。
• 【下载】 : 所有数据源「单表/单表自定义sql/多表/实时」 : 10000条。
• 【告警】邮件告警通道交互优化，增加告警配置提示。
• 【校验模板优化】手机号、null值等校验比对模板优化，解决部分模板不完善问题。
• 【校验模板优化】oracle数据源的单表/多表/实时的自定义SQL、过滤条件处，变量值需要双单引号转义才能避免报错，所以oracle需要优化特殊处理，处理为变量值只需单引号【后端】，例如 : select “id” “name” from “a”.“student” where “id” like''%xiao''。
• 【校验模板优化】单表/实时校验的SqlServer数据源不支持正则，单表-规范性校验-统计函数处，前端需要隐藏手机号、身份证、邮箱。
• 【校验模板优化】单表/实时校验，目前过滤条件需要先写and，优化成不需要先写and。
• 【校验模板优化】单表/实时校验 : 手机号码格式校验，正则不包括14、19开头的号段，需加上，目前正则 : [1][35678][0-9]{9}，注意 : 涉及所有数据源，除 SqlServer。
• 【保存】规则配置-编辑单表规则的“立即执行”，多表的“立即执行”“编辑调度属性” : 增加保存判断逻辑。

5.0.0-beta

Release Date : 2022-01-11

New Feature

• 【数据源新增】新增Inceptor数据源接入，满足使用Inceptor数据源客户的数据校验需求。

4.3.3-beta

Release Date : 2022-01-24

New Feature

• 【数据源新增】新增SAP HANA数据源接入，满足使用SAP HANA数据源客户的数据校验需求。

4.3.2-beta

Release Date : 2021-12-30

Improved

• 【适配离线任务状态】 适配离线任务“上游失败”状态改为“等待提交”。

4.3.1-beta

Release Date : 2021-10-27

New Feature

• 【新增Trino数据源】 支持跨源多表校验，支持高速、实时数据分析。
• 【新增Hive3数据源】 新增Hive3数据源支持数据质量校验。

Improved

• 【系统管理】 支持在「系统管理-用户管理」对项目添加用户、编辑权限。

V4.3.0-beta

Release Date : 2021-07-13

New Feature

• 【规则配置】支持配置规则拼接包，子规则校验分开执行。

Improved

• 【规则配置】支持用户任意输入查询sql，不约束select内容的格式。
• 【任务查询】多表比对规则统计逻辑优化。
• 【License】license模块对接修改。

V4.2.3-beta

Release Date : 2021-07-13

New Feature

• 【数据源】对接「数据源中心」。

Improved

• 【代码优化】前端缓存策略优化。

V4.2.2-beta

Release Date : 2021-06-18

New Feature

• 【实时校验】新增kafka实时数据抽检功能。
• 【规则配置】根据质量校验的业务场景，将统计函数进行规则分类。

Improved

• 【任务关联】任务关联接口的优化，消除saas环境脏数据导致无法关联的问题。
• 【部署优化】独立部署质量平台时，自动隐藏任务关联功能。
• 【显示优化】部分页面功能新增提示内容、优化显示效果。

V4.2.1-beta

Release Date : 2021-04-19

Improved

• 【数据源】sparkthift数据源升级2.x。
• 【数据源】支持hive3数据源，在hive2的类型上兼容。
• 【规则配置】规则创建性能优化。

BugFix

• 【任务查询】解决分区信息返回问题。

V4.2.0-beta

Release Date : 2021-04-06

New Feature

• 【规则配置】支持选择关联离线任务。
• 【规则配置】支持强弱规则的区分。
• 【规则配置】字段级规则新增「取值范围」规则类型。

Improved

• 【规则配置】自定义SQL输入框均支持系统参数。
• 【任务查询】单表校验任务，Spark数据的校验结果明细调整为查询HDFS。

V4.1.2-beta

Release Date : 2021-02-24

New Feature

• 【数据源】新增校验数据管理功能，可指定校验结果数据的存储。
• 【数据源】新增SparkThrift2.1.x数据源，离线项目数据质量校验建议使用该类型。
• 【数据源】Hive2.x数据源新增高可用JDBC连接。

Improved

• 【规则配置】优化Hive2.x规则拼接SQL。
• 【数据源】调整Kerberos认证逻辑。
• 【任务查询】多表比对任务，Spark/Hive数据的校验结果明细调整为查询HDFS。

V4.1.1-beta

Release Date : 2021-01-07

New Feature

• 【数据源】新增人大金仓（KingBaseES8）数据源。
• 【字段级规则】支持多字段拼接规则（默认and条件）。
• 【规则配置】支持整表规则删除。

Improved

• 【单表校验任务】梳理所有规则类型的校验数据明细，支持预览和下载。
• 【多表比对任务】优化比对报告指标的计算逻辑和比对明细的下载逻辑。

Bugfix

• 【多表比对规则】编辑规则时丢失分区信息。
• 【数据源】SQLServer数据源JDBC格式校验问题。

V4.0.0-beta

Release Date : 2020-09-09

New Feature

• 【逐行校验】模块合并至<规则配置>，改名<多表比对规则>，实现周期调度。
• 【数据源】新增“Greenplum”数据源，支持单表校验规则。

Improved

• 【任务调度】质量任务提交Engine，由Yarn统一管理调度。
• 【多表比对】自定义SQL模式支持系统参数。
• 【概览页】加入多表比对规则数据，并支持自定义统计时间范围。

V3.10.2-beta

Release Date : 2020-07-01

Improved

• 【逐行校验】左右表的比对数据支持自定义sql。
• 【逐行校验】校验规则优化。

V3.10.1-beta

Release Date : 2020-05-06

New Feature

• 【数据源】新增支持TiDB数据源。

Improved

• 【数据源】Spark数据源直连调整为Hive连接方式。

Bug Fix

• 【逐行校验】字段映射线条错位。
• 【逐行校验】规则配置的内容框无法输入。

V3.9.0-beta.6

Release Date : 2019-12-05

Bug Fix

• 修复了项目管理-项目成员管理中加入时间和用户管理的加入时间不一致的bug。
• 修复了项目管理-项目配置中进行顶部导航栏切换项目页面错误的bug。
• 修复了项目管理-项目成员管理中添加用户时只显示3个角色的bug。

V3.9.0-beta.5

Release Date : 2019-11-26

New Feature

• 新增了项目概念且支持项目隔离。

Improved

• 规则配置中配置字段级规则、字段格式校验时，下拉单选字段的空间，支持搜索。

Bug Fix

• 修复了项目管理-项目成员管理中编辑角色时，未勾选任何角色，点击确定按钮，仍能保存成功的bug。
• 修复了项目管理-项目成员管理中项目所有者不可编辑的bug。
• 修复了用户管理中新建一个租户（无项目），但是进入用户管理中显示默认项目的bug。