概述
本文为您介绍如何通过袋鼠云EasyMR(简称EMR)控制台,快速搭建一个Hadoop集群并执行作业。。
操作流程
1、步骤一:创建集群
在EM控制台,快速创建一个主机/虚拟机集群。 2、步骤二:部署Hadoop、Spark产品包
3、步骤三:创建并执行作业
集群创建成功后,您可以创建并执行Spark类型作业。以Spark 3.1.3版本为例,进入Spark客户端,输入的命令示例如下:
spark-submit --class org.apache.spark.examples.SparkPi
--master yarn --deploy-mode client --d
river-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2
/usr/lib/spark-current/examples/jars/spark-examples_2.12-3.1.3.jar 10
4、步骤四:查看作业运行记录
提交作业后,您可以通过YARN UI方式查看作业运行记录。