历史更新日志
V5.2.1_beta
上线时间:2022-09-20
New Feature
- 【安全审计】数据质量新增安全审计功能。
- 【规则配置】新增规则集配置,将规则集中的规则统一管理、统一调度,后续做质量报告也会基于规则集进行统计。
- 【任务查询】原任务列表适配新增的规则集类型。
- 【元数据接入】目前已经支持inceptor的元数据接入和inceptorSQL血缘解析。
- 【新增数据源】新增SAP HANA2.x数据源类型。
- 【视图】SAP HANA(1.x/2.x)元模型增加视图定义和视图描述。
- 【自动授权】离线项目数据源自动授权资产。实现sparkthrift meta数据源的自动授权;实现sparkthrift meta数据源的自动引入;实现自动的调度配置。
Improved
- 【数据质量】质量概览页页面优化。
- 【引导页】引导页页面调整,新增数据质量校验。
- 【数据标准】带映射标准的字段调整为可点击,点击显示标准详情。
- 【数据质量】优化了数据质量接口的反应时间。
- 【数据源选择】同步任务和脏数据校验连接失败时进行排序的处理,连接失败放在后面;数仓层级选择时,需要做一个绑定的数据源是否连接成功的校验。
V5.2.0_beta
上线时间:2022-08-04
New Feature
【资产质量合并】合并后,质量作为资产的一个模块,整体作为资产产品输出,涉及到以下公共模块需要进行调整:
合并后,质量作为资产的某一个模块,资产保持无项目概念,质量保持原有的项目概念,公共的数据源、用户角色模块需要指定具体的质量项目授权。
数据源打通,数据源引入后资产、质量共享,但是需要对质量的具体项目授权。
合并后,数据源管理作为资产、质量纯粹的数据源连接、授权管理功能,把资产原有做在数据源处的数据库连接取消(默认直接连接)、元数据同步功能挪至元数据模块;把质量的原有做在数据源处脏数据存储挪至质量模块的项目管理处。
用户、角色打通,重构现有的角色设计,兼容两个产品现有的功能角色分配,用户添加至资产后,需要对质量的具体项目授权。
【数据资源整合】将原有【数据资源】模块整合至元数据的数据地图模块,移除字段作为指标发布功能,专注五大类资产的目录管理。目录作为资产的元数据属性,支持筛选和分类。
【元数据同步】以任务的形式管理元数据同步,支持周期同步任务和实时同步任务;导入导出功能移动到「元数据管理」模块。
Improved
- 【离线数据源】实现离线Sparkthrift meta数据源对数据资产的自动授权、引入和调度。
- 【告警配置】资产/质量所有涉及到告警配置的页面都支持自定义告警方式,对接到控制台的自定义告警通道(所在版本为V5.0/V5.1)。
- 【管理权限拆分】满足客户管理权限、业务权限拆分需求,管理层只拥有管理权限,业务角色拥有相关的业务权限,因此回收管理层(超级管理员、租户所有者、租户管理员)的业务权限,开发层面通过刷sql实现。主要场景是客户总公司采购数栈产品后,只拥有管理权限,无法查看、操作子公司业务数据。
V5.1.2_beta
上线时间:2022-05-19
New Feature
- 【全域资产汇聚】在原先的库、表、字段基础上,新增了【离线任务】、【实时任务】、【数据API】、【数据标签】的元数据查询。
- 【搜索】支持对某一类资产的搜索。
- 【资产打标】支持对任意资产维护自定义标签,并通过标签进行过滤查询。
Improved
- 【血缘解析】在原有血缘解析的基础上,新增了【任务节点】,帮助用户更完整的理解数据流转路径。
V5.1.1_beta
上线时间:2022-04-18
New Feature
- 【用户中心】UIC定时登出。
- 【资产盘点】存储资源情况,增加「存储」「表行数」tab页。
- 【用户组】新增用户组功能。
V5.1.0_beta
上线时间:2022-03-22
New Feature
- 【数据模型】支持标准化检测、发布审核。用户新增、编辑数据模型时,将会自动提交管理员审批,审批通过后实际执行。
- 【数据同步】血缘解析支持对基于FlinkX的离线数据同步任务的血缘(不支持实时采集任务的血缘解析)。
- 【元数据采集】增加Impala元数据采集。
- 【平台管理】支持按照用户组授予角色。
- 【安全审计】关键操作日志安全审计功能。
- 【表行数统计】支持对SparkThift、Hive2.x、Inceptor、Doris、MySQL、Oracle、SQLServer、TiDB表行数的统计。Hive表的表行数是通过执行Hive analyze实现,需注意此功能对性能的影响。
Improved
- 【标签】资产打标签,可以对标签进行搜索。
- 【数据源】底层数据源架构改造适配。
- 【告警】邮件告警通道优化,新增帮助提示。
V5.0.2_beta
上线时间 : 2022-03-03
New Feature
- 【数据资源】数据资源增加批量管理 : 批量发布、批量下线、批量删除。
- 【兼容edge】兼容edge浏览器。
Improved
- 【资产盘点】数据量过大,导致「资产盘点-数据价值」界面报错(“数据库连接超时”)。
- 【数据同步】数据源管理-手动同步,下拉框中的表,实时查数据库。
- 【数据资源】数据资源新增资源操作人。
V5.0.1_beta
上线时间 : 2022-01-26
New Feature
- 【产品引导页】新增产品引导页,利于用户快速了解产品,增加产品操作引导性。
- 【数据源新增】元数据管理新增ElasticSearch。
- 【数据源新增】元数据管理新增Inceptor。
- 【数据源新增】元数据管理新增Doris。
- 【数据源新增】元数据管理新增MongoDB。
- 【元数据导出】支持按照数据源导出,解决按照数据源批量导出元数据问题。
- 【数据资源目录批量建设】支持导入,解决大批量数据资源目录建设。
Improved
- 【数据地图完善】新增数据源信息展示,便于用户及时查看数据源相关信息。
- 【数据标准】数据标准、码表名称输入及导入格式优化,解决部分不符合格式数据无法导入问题。
- 【元数据订阅】强化订阅展示,便于客户及时订阅感兴趣的表。
- 【数据标准】支持批量删除词根、码表。
- 【血缘】增加血缘解析标识,便于用户直接看到有血缘关系的表。
V5.0.0_beta
上线时间 : 2021-12-06
New Feature
- 【元数据中心】建设元数据中心,解耦服务层与应用层,为后续数栈子产品的互相配合打下基础,解决越来越多的产品依赖问题。
V4.3.3_beta
上线时间 : 2022-02-16
New Feature
- 【数据源新增】元数据管理新增SAP HANA。
V4.3.2_beta
上线时间 : 2021-12-30
New Feature
- 【三元管理】满足军工版特殊角色功能权限控制。
- 【分级分类】支持用户对字段做自动化分级规则设置,为未来数据加密、数据权限等之类的功能打下基础,以便未来来更好地管理和使用元数据。
V4.3.1_beta
上线时间 : 2021-10-25
New Feature
- 【数据模型】新增建表-hive建表模块。
- 【数据模型】新增建表-模型元素模块。
- 【数据模型】新增建表-规范设计模块。
Improved
- 【数据资源】优化数据资源目录模块。
- 【元数据】优化元模型模块。
- 【数据源】优化元数据同步模块。
V4.3.0_beta
上线时间 : 2021-08-13
New Feature
- 【数据标准】新增标准统计模块。
- 【数据标准】新增词根管理模块。
- 【数据标准】新增码表管理模块。
- 【数据标准】新增行业模版模块。
- 【数据标准】新增数据库拾取模块。
Improved
- 【数据标准】优化标准定义模块。
- 【数据标准】优化标准映射模块。
V4.2.3_beta
上线时间 : 2021-07-01
New Feature
- 【血缘解析】打通“离线开发平台”的血缘解析结果。
- 【数据源】新增Sparkthrift数据源。
- 【元数据】新增用户权限、元数据接口需求,支持“实时开发平台”。
Improved
- 【元数据】Flink元数据若干参数新增优化。
- 【基础功能】License对接,控制产品模块权限。
- 【用户管理】优化用户管理逻辑,和其他子产品对齐。
V4.2.2_beta
上线时间 : 2021-06-22
New Feature
- 【数据源】数据源管理对接“数据源中心”。
V4.2.1
上线时间 : 2021-05-25
New Feature
- 【元数据】支持Kafka元数据采集,支持2.x和0.10两个版本。
- 【数据模型】支持Flink建表,映射类型支持Kafka、MySQL、Oracle。
- 【平台管理】支持Flink库表权限管理。
以上功能可与「实时开发平台」配合使用,满足实时元数据的管理需求
V4.2.0
上线时间 : 2021-04-06
New Feature
- 【数据标准】新增数据标准功能模块。
Improved
- 【底层改造】前端重组功能模块划分。
V4.1.5
上线时间 : 2021-02-25
New Feature
- 【数据源】新增HBase、Phoenix、Vertica数据源。
Improved
- 【底层改造】血缘模块迁移至引擎端。
- 【底层改造】前端优化改造。
V4.1.4
上线时间 : 2021-01-27
New Feature
- 【数据源】自定义数据源类型。
Improved
- 【底层改造】springboot迁移。
- 【底层改造】console迁移。
V4.1.3
上线时间 : 2020-12-14
New Feature
- 【数据资源】查询显示项支持自定义。
- 【资产盘点】新增“数据资源分布”、“元数据变化趋势”、“资产查询趋势”统计模块。
Improved
- 【用户管理】通过UIC的产品权限勾选,管理资产平台的用户。
V4.1.2
上线时间 : 2020-11-27
New Feature
- 【数据订阅】用户订阅数据后,当表的元数据信息发生变更时,可及时收到提醒,提醒方式支持站内信、邮箱、短信、钉钉。
- 【元数据质量】支持分析元数据的完整度和血缘孤立性。
- 【数据脱敏】支持自定义脱敏规则,预览敏感数据时脱敏展示。
- 【同步告警】支持为元数据同步任务配置告警通道,及时发现同步问题,保障元数据的时效性。
Improved
- 【Oracle元数据】支持区分分区字段,查看字段精度和小数点位数等元数据。
- 【同步实例】同步实例页面独立管理,记录手动和周期两类同步实例。
V4.1.1
上线时间 : 2020-10-30
New Feature
- 【检索引擎】支持ES检索引擎。对于数据量很大的客户,可搭建ES集群,开启ES配置项(默认关闭)。
Improved
- 【前端框架】根据角色的功能权限直接隐藏相关导航、菜单页。
- 【血缘关系】支持手动维护MySQL、Oracle、TiDB、SQLServer数据的血缘关系。
- 【数据资源】放开目录树的3级层级限制,目前支持10级;新增数据源/数据库筛选项。
- 【检索功能】不分区检索输入内容的大小写,检索效果等同。
- 【表结构】表结构的字段展示顺序按照数据库顺序展示。
V4.1.0
上线时间 : 2020-09-27
New Feature
- 【元模型管理】新增“字段元模型”功能,为每个字段定义元数据标准。
- 【元数据管理】新增“字段元数据”维护功能,可维护每个字段的元数据信息。
- 【数据资源】新增“数据资源”模块,数据开发可建设数据资源目录,将相应的数据发布至对应目录下,供业务人员查询。
Improved
- 【数据库管理】新增批量接入数据库功能。
- 【角色管理】根据新的导航菜单,重新分配角色功能权限。
- 【表详情】新增“最近同步时间”元数据信息。
- 【元数据导入】支持字段元数据批量导入功能,可初始化导入线下易维护的字段元数据。
- 【数据预览】数据预览支持全部数据源。
V4.0.3
上线时间 : 2020-09-09
New Feature
- 【资产盘点】新增“资产盘点”统计页,可分析数据资产整体情况。
- 【血缘解析】表详情页新增“血缘解析”Tab,支持SQL自动解析、手动维护数据血缘关系。
- 【数据管理】新增表元数据批量导入功能,可初始化导入线下已维护的表元数据。
- 【数据源管理】新增SQLServer数据源。
- 【元数据接口】预留数据使用次数接口,供外部平台写入数据。
Improved
- 【数据地图】只显示已接入平台的数据源类型。
- 【前端框架】前端框架重构,提高页面性能。
V4.0.2
上线时间 : 2020-08-08
New Feature
- 【数据源管理】Hive数据源支持kerberos认证。
Improved
- 【数据源管理】数据源名称规范统一。
V4.0.1
上线时间 : 2020-07-15
New Feature
- 【数据源管理】支持Mysql元数据。
- 【数据源管理】支持Oracle元数据。
- 【元数据管理】支持元数据的批量导出、支持Excel、Html、sql格式。
Bug Fix
- 【LOGO】修复导航logo和菜单logo不一致问题。
V4.0.0
上线时间 : 2020-06-22
New Feature
- 【平台各模块】支持Hive2 apache、TiDB元数据。
Improved
- 【数据源】列表页显示、查询效果优化。
- 【数据地图】加入批量管理的表持久化保存。
Bug Fix
- 【元数据同步】修复同步状态问题。
V3.10.1 (首次发布)
上线时间 : 2020-04-09
New Feature
- 【数据源管理】支持Hive2 cdh版本数据源,支持增删改查。
- 【数据库管理】支持数据源下的数据库连接、删除、配置元模型。
- 【元数据同步】支持手动同步、周期同步。
- 【元模型】支持Hive元模型,支持元模型的业务属性项维护。
- 【数据地图】支持元数据的搜索查询,支持找库、找表、找字段;支持管理员批量维护元数据、分配表负责人;支持筛选项、显示项的个性化配置。
- 【元数据信息】支持基础信息展示(表技术属性、业务属性、表结构、分区信息);支持数据预览。
- 【我的数据】支持维护我负责的表元数据。
- 【数据安全】支持用户、角色管理。
- 【UIC对接】实现租户、用户、产品管理。
- 【后台】实现license配置。