6.2.x_更新日志

发布时间：2024-03-30

功能新增

数据库全库备份【6.1】

背景 大版本升级时，为了保障数据安全通常需要先部分所有业务数据库。当前EM只支持单库的数据备份，全库备份操作需要运维手动进服务器进行备份，手动备份容易出现操作不当导致数据损坏等问题，为了规避风险，需要将全库备份功能产品化；

功能详情

1、支持Mysql、TDSql 全库备份、回滚；

2、支持两种备份方式：

XBack备份：仅支持EasyManager纳管Mysql数据库的全库备份，且只能备份在Mysql服务节点；

Dump备份：支持同一内网下Mysql、TDSQL数据库的全库备份；

3、全库备份完成后，服务升级时支持跳过独立备份流程；

应用服务容器化部署【6.1】

背景

复杂的环境配置：主机部署需要在每个服务器上进行独立的安装和配置，涉及到不同环境的设置、依赖项的安装等。这样的过程繁琐且易出错。

难以扩展：主机部署中，添加新的功能或模块需要手动进行部署和配置，无法快速响应业务需求变化。并且难以进行横向扩展以应对高并发和大规模用户请求。

部署一致性：在主机部署方式下，不同环境之间的配置差异较大，导致在进行软件更新、故障排除等时出现不一致的情况，增加了维护成本和风险。

功能详情

1、引入外部K8s集群：集群命名空间、镜像仓库；

2、容器化部署：部署流程同主机部署，无需选择部署节点；

3、K8s集群无法查看集群主机监控，grafana监控页为空；

Yarn资源队列管理【6.1】

背景 在大规模分布式计算集群中，为了更好地管理和利用集群资源，通常会将节点和资源划分为不同的队列。这些队列可以按照应用、用户、优先级等不同的标准来进行划分和管理。

功能详情

支持界面化管理Yarn资源队列，包括：创建、编辑、删除；

Yarn资源队列抢占【6.2】

功能详情

1、支持设置"天"、"周"、"月"级资源抢占周期；

2、支持自定义Yarn资源队列抢占；

大数据组件升级/回滚【6.2】

背景 大数据组件的升级和回滚，主要是为了应对技术迭代和业务发展带来的变化，确保系统能够引入最新的功能和安全修复，同时在升级过程中出现问题时能够快速恢复到之前的稳定状态，以保障平台的稳定性和业务的连续性。这种需求背景反映了对运维操作灵活性和系统鲁棒性的双重要求，以及对数据安全和服务质量的持续承诺。

功能详情

1、支持Hive、Hbase、Spark、Flink、Trino等组件升级/回滚

2、支持Hive升级回滚过程中的元数据备份，Hbase升级回滚过程中的配置备份；

3、Spark、Flink升级回滚时进行任务检查

服务-实例组【6.2】

背景

1、资源管理和优化：在大数据处理中，通常需要使用多个计算实例来处理庞大的数据集。实例组功能可以帮助管理员对这些实例进行有效的管理和利用，包括资源分配、负载均衡和性能优化等。通过集中管理实例，可以更好地利用资源，提高效率和性能。

2、弹性伸缩和容错性：大数据处理过程中，工作负载可能会随着数据量的变化而波动。实例组功能允许根据负载情况自动伸缩实例数量，以适应不同的工作负载需求。同时，实例组还可以提供容错机制，当某个实例出现故障时，可以自动将任务转移到其他可用的实例上，确保数据处理的连续性和可靠性。

3、任务调度和管理：实例组功能可以提供任务调度和管理的能力，包括任务分配、优先级设置和进度监控等。管理员可以根据业务需求和优先级，灵活地调度和管理各个任务，确保数据处理的顺利进行。

4、成本控制和资源利用率：实例组功能可以帮助管理员更好地控制成本和提高资源利用率。通过合理调度和管理实例，可以避免资源浪费和不必要的开销，从而降低大数据处理的成本。

5、安全和权限控制：实例组功能需要提供安全性和权限控制机制，确保数据的机密性和完整性。管理员可以设置访问权限、数据加密和身份验证等措施，保护大数据处理过程中的敏感信息。

功能详情

1、每个[服务-角色]默认拥有default实例组；

2、支持用户自定义实例组，并支持自定义配置参数；

3、实例组中角色节点支持同角色下实例组迁移，并继承新实例组配置参数；

机架管理【6.2】

NTP网络时间协议【6.2】

背景

NTP服务可以精确地进行互联网时间服务器同步，从而确保网络中所有设备的系统时间一致性。对于集群稳定性，数据一致性有着重要作用。

功能详情

1、支持界面化查看集群服务器时间差异；

2、支持集群内部时间同步；

3、支持对接外部NTP服务，同步外部时间；

深度集群巡检模块【6.2】

背景：

1、组件和服务众多：大数据基础平台通常包含多个组件和服务，例如Hadoop、Spark、Hive、HBase等。这些组件之间存在复杂的依赖关系和配置，需要定期检查它们的运行状态和配置是否正确。

2、高可用性和稳定性要求：大数据基础平台通常承载着重要的业务和数据处理任务。为了确保平台的高可用性和稳定性，需要及时发现并解决潜在的问题，以防止系统故障或性能下降。

3、资源利用率优化：大数据平台的资源（例如存储、计算、网络）通常是有限的。通过巡检工具，可以观察和分析平台的资源利用率，以便优化资源的分配和使用，提高系统的效率和性能。

4、故障排查和问题定位：在大数据平台中，可能会出现各种故障和问题，如数据丢失、任务失败、性能瓶颈等。集成巡检工具可以帮助快速发现问题，并提供有用的诊断信息，以便进行故障排查和问题定位。

5、自动化和批量操作：大数据平台通常包含大量的节点和配置项，手动进行巡检和监控工作非常繁琐和耗时。通过集成巡检工具，可以实现自动化的巡检流程和批量操作，提高效率并减少人工错误。

综上所述，集成巡检工具对于大数据基础平台非常重要。它可以帮助发现潜在问题、提高系统的可用性和性能、优化资源利用率，并提供故障排查和问题定位的支持。

功能详情

1、内置150+大数据集群巡检指标，包括巡检内容、指标阈值、修复建议；

2、支持定义巡检计划，设置"天"、"周"、"月"级巡检周期；

3、界面查看巡检统计结果及巡检详情支持巡检报告下载；

集群迁移模块【6.2】

背景：

随着企业的业务发展，不断增长的数据量往往会导致数据中心的容量不足。为了扩大数据中心的容量并保证数据的安全性和可靠性，企业需要将数据从一个数据中心迁移到另一个数据中心。在国产化平替背景下，越来越多的企业将CDH、HDP等开源平台迁移到EMR国产化大数据平台。大数据迁移工具可以帮助企业高效地完成数据中心的迁移为了帮助企业高效地完成数据中心迁移、数据库升级和数据备份等工作。通过使用大数据迁移工具，简便数据迁移流程、保障迁移过程数据安全，企业可以更好地管理和运营其数据资源，从而提高业务效率和竞争力。

功能详情

1、支持跨集群迁移：例如：CDH到CDH集群、CDP到EMR集群；

2、支持设置迁移计划：自定义迁移数据目录、迁移策略设置；