Spark application运行hadoop中的Yarn上；Spark 的部署模式；运行Spark application到Spark Standalone；spark on yarn架构

蔚落 2021-11-09 04:01 406阅读 0赞

# 准备工作 #

启动hadoop相关节点

配置好spark的配置文件spark-env.sh
    JAVA_HOME
    SCALA_HOME
    HADOOP_CONF_DIR

# 提交命令 #

#将Spark-shell运行在Yarn集群上
    #资源的调优
    bin/spark-shell \
    --master yarn \
    --deploy-mode  client \
    --driver-cores 1 \ # 设置Driver运行CPU数
    --driver-memory 1g \ # 设置Driver运行内存
    --executor-cores 1 \  # 设置每个EXECUTOR运行CPU数
    --num-executors 2  # 总的EXECUTOR数

# Spark on yarn架构 #

## spark application运行在集群上 ##

Driver：应用的管理者（获取资源，任务调度job）
    	Executor:运行Task和缓存RDD

## Yarn架构设计 ##

如果一个应用程序运行在YARN上，首先给每个应用创建一个APPMaster（应用的管理者）：获取资源和调度task

## 如何去设计Spark application运行在Yarn上 ##

### Driver运行在Client. ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2gxMDI1MzcyNjQ1_size_16_color_FFFFFF_t_70]  
申请资源：  
Driver ->appMaster ->RM  
调度程序  
APPMaster ->Driver ->Executor ->Task

### Driver运行在集群上 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2gxMDI1MzcyNjQ1_size_16_color_FFFFFF_t_70 1]  
将APPMaster和Driver进行合并  
appMaster(Driver) ->RM

# Spark 的部署模式 #

## （1）client（默认值） ##

表示Driver程序（JVM进程）运行在本地客户端，不是运行在集群的从节点上（worker或Nodemanager）
    此种方式
    	本地提交之后，可以看到相关日志的输出
    官方给我们提供spark-shell 只能运行在client端
    	在交互式命令行中编写代码，就相当于*.scala文件中main方法的代码

### 命令 ###

#通过client方式提交：driver 程序运行在client
    bin/spark-submit \ # 提交任务
    --master yarn \  #运行到yarn上
    --deploy-mode  client \ # 运行模式 客户端模式
    --class com.huadian.bigdata.spark.core.TrackLogAnalyseSpark \  #运行的程序
    --driver-cores 1 \ 
    --driver-memory 1g \
    --executor-cores 1 \
    --num-executors 2 \
    spark-learning-1.0-SNAPSHOT.jar \ # 运行的jar包
    yarn  # 自定义参数

## （2）cluster ##

表示将Driver进程运行在集群的从节点上，就是运行在worker或者Nodemanager
    在实际的项目开发中，布局模式肯定是cluster mode

#通过Cluster方式提交到Yarn
    bin/spark-submit \
    --master yarn \
    --deploy-mode  cluster \  # 设置运行模式为集群模式
    --class com.huadian.bigdata.spark.core.TrackLogAnalyseSpark \
    --driver-cores 1 \
    --driver-memory 512M \
    --executor-cores 1 \
    --num-executors 2 \
    spark-learning-1.0-SNAPSHOT.jar \
    yarn

# 运行Spark application到Spark Standalone #

## 部署模式为client ##

bin/spark-submit \
    --master spark://bigdata-hpsk01.huadian.com:7077 \
    --deploy-mode  client \
    --class com.huadian.bigdata.spark.core.TrackLogAnalyseSpark \
    --executor-cores 1 \
    --total-executor-cores 2 \ # 总的executor可以用的CPU数
    --driver-memory 512M \
    --executor-memory 512M \
    spark-learning-1.0-SNAPSHOT.jar \
    spark://bigdata-hpsk01.huadian.com:7077  # 运行到哪个节点上

# 部署模式为cluster #

#--supervise 如果Driver程序挂了，重启
    bin/spark-submit \
    --master spark://bigdata-hpsk01.huadian.com:6066 \ # 集群模式节点为6066
    --deploy-mode  cluster \  # 运行模式为集群模式
    --class com.huadian.bigdata.spark.core.TrackLogAnalyseSpark \
    --supervise \
    --executor-cores 1 \
    --total-executor-cores 1 \
    --driver-memory 512M \
    --driver-cores 1 \
    --executor-memory 512M \
    spark-learning-1.0-SNAPSHOT.jar \
    spark://bigdata-hpsk01.huadian.com:6066

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2gxMDI1MzcyNjQ1_size_16_color_FFFFFF_t_70]: /images/20211109/91948121df2e4dd3b51b354f5f90e519.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2gxMDI1MzcyNjQ1_size_16_color_FFFFFF_t_70 1]: /images/20211109/a8ed175e8f174160a5d9bf60663b634c.png