Skip to main content

概述

产品介绍​

EasyMR基于Hadoop、Hive、Spark、Flink、HBase等开源组件，构建的弹性存储计算平台，产品提供安全可靠、弹性伸缩、低成本的大数据存储与计算服务，并实现Hadoop集群的一站式创建、管理、部署、运维与监控。

系统架构​

image.png

产品部署之前需添加主机、及上传安装包，主机和安装包通过nginx进行服务转发，matinx是主程序服务，其中包含schema安装包文件解析，orchestrate组件依赖关系处理，instance exec执行引擎3部分。除此之外，promethus进行集群监控，以及通过grafana进行仪表盘展现，MySQL存储EasyManager相关数据。EasyManager所有的组件通过easyagent server服务与外部实体连接、调度。

image.png

Easyagent Server通过标准的GPRC协议与sidecar进行双向通讯，通过GRPC全双工通讯，客户端网络环境不需要开监听端口，所有控制指令进行实时传输。Sidecar进行不同agent的服务管理，可实现对agent服务的cgroup分组以及tc控制，控制主机资源使用、上报监控资源使用情况，以及进行健康检查。同时Easyagent Server抽象出七大REST接口，安装、启动、停止、更新、配置修改、卸载、执行等与上层应用进行交互，使agent类别和功能可轻松无限扩展。

产品功能架构图​

产品架构如下图所示： img_1.png

主要特性​

  • 开源开放

集成了Apache社区的Hadoop、 Spark、Flink、Hive 、HBase等主流大数据组件，可提供存储、计算、分析等能力，紧跟开源生态的先进技术与开源社区同步迭代，并自研部分组件特性，积极回馈社区，以开放心态共建Hadoop生态;

  • 安全稳定

用户体系全域打通，LDAP集成Kerberos+操作系统，使用Ranger进行细粒度的权限管理，集群高可用设计，保障数据安全及大数据服务可用性;

  • 国产化兼容

国产操作系统：统信UOS、龙蜥、麒麟等国产操作系统； 国产芯片：支持鲲鹏920、飞腾、海光等芯片适配; 国产数据库：人大金仓、达梦、TDSQL；

  • 实时告警

支持实时监控集群中各组件服务的运行指标，如CPU、内存、磁盘、读写IO等，并支持短信、钉钉、邮件告警通道配置，集成多种第三方消息插件。当集群服务出现异常触发告警条件时，系统将及时通知接收人;

  • 强扩展性

通过自研的Easyagent Server抽象出七大REST接口，安装、启动、停止、更新、配置修改、卸载、执行等与上层应用进行交互，可使agent类别和功能可轻松无限扩展;

  • 安全稳定

数据安全、产品安全是大数据产品需要重点考虑的问题。EasyMR在产品设计中过滤掉rm、drop等命令行，防止对数据库的误操作，通过更加安全的方式执行相关命令。同时提供服务的滚动重启、产品的断电重启，解决运维时服务不停止运行的场景并节省运维时间。