Skip to main content

5.3.0_更新日志

功能新增​

支持配置自定义属性【5.3】​

背景：目前标签创建时的信息是固定的，除了一些通用的属性，不同行业客户对标签的元数据信息各有不同。如银行客户有定义标签金融安全等级的需求，但这个属性不适配基金、零售客户，所以要通过标签自定义属性来实现 功能描述：

  1. 在「标签元数据」页面设置自定义属性，并可在列表页查看通用属性和自定义属性的元数据信息

  1. 通用属性中增加标签责任人、业务口径、技术口径字段
  2. 自定义的属性用于后续创建标签时进行属性设置

移除标签责任人、任务责任人、告警接收人、群组订阅人时指定交接人【5.3】​

Hive表和HBase表支持自定义生命周期【5.3】​

  1. 支持对标签大宽表进行生命周期设置，超期数据可全部删除，也可保留每个周期的特定时间的数据

  1. 保存的标签群组可设置生命周期，超期数据可全部删除，也可保留每个周期的特定时间的数据

  1. 存储为物理表的管理科设置生命周期，超期数据可全部删除，也可保留每个周期的特定时间的数据

功能优化​

数据同步参数配置优化，Rowkey预分区功能优化、作业并发数优化、支持设置允许的脏数据条数【5.3】​

  1. Rowkey预分区功能优化 【需求背景】原来的分区数量是根据作业并发数决定，当作业并发数变化后，根据并行度计算的Rowkey结果发生变更，导致无法定位到正确的分区获取数据结果 【需求实现】hbase表默认设置预分区，且分区数量 = 30，去除作业并发数对分区计算产生的影响 【需求影响】客户使用API查询时，对该改造无感知，但因涉及到Rowkey加密计算过程，查询效率会有轻微影响
  2. 作业并发数输入限制调整为1-100，满足业务更多的数据同步效率需要
  3. 支持设置允许的脏数据条数 当产生的脏数据条数超过设置的阈值时，作业停止同步、置为失败。 设置为0或空时，表示不允许有脏数据出现。 脏数据指系统定义的因主键冲突、格式转换错误等原因造成的无法正常写入的数据

标签API支持不指定业务日期查询标签结果【5.3】​

【需求背景】标签API查询数据的过程中，可能存在因数据同步任务尚未完成导致API无法查询到指定的最新业务日期数据的情况，此时会造成业务阻塞，为不影响业务正常运行，需要对Hbase数据做降级备份处理 【需求实现】hbase中将备份存储一份同步成功的最新业务日期的最近一次同步成功数据。 API传参时，业务日期调整为非必填项： （1）指定业务日期，系统将返回对应业务日期的数据； （2）未指定业务日期，系统将返回备份数据

数字开头的schema读取问题优化【5.3】​

标签可以挂在父目录和子目录下【5.3】​

增加pageNo字段【5.3】​