Spark-Yarn模式安装部署

￡神魔★判官ぃ 2022-11-09 14:18 197阅读 0赞

### 目录 ###

*   *   *  可能碰到的问题

1.解压 Spark 安装包

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /export/servers

2.修改名字

mv spark-2.4.0-bin-hadoop2.7 spark

3.进入配置文件目录conf, 配置spark-evn.sh

cd conf/
    cp spark-env.sh.template spark-env.sh

YARN_CONF_DIR=/export/servers/hadoop-3.1.3/etc/hadoop
    SPARK_MASTER_HOST=hadoop102
    SPARK_MASTER_PORT=7077 # 默认端口就是7077, 可以省略不配
    export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/spark-job-log"

4.修改 slaves 文件, 添加 worker 节点

cp slaves.template slaves

5.在slaves文件中配置如下内容:

hadoop102
    hadoop103
    hadoop104

6.配置spark-default.conf文件, 开启 Log

spark.eventLog.enabled           true
    spark.eventLog.dir               hdfs://hadoop102:8020/spark-job-log
    spark.yarn.historyServer.address=hadoop102:18080
    spark.history.ui.port=18080

**注意:**  
**hdfs://hadoop102:8020/spark-job-log 目录必须提前存在, 名字随意**  
7.修改 hadoop 配置文件 yarn-site.xml, 添加如下内容：

<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

8.分发配置文件  
启动历史服务

sbin/start-history-server.sh

sbin/start-all.sh

### 可能碰到的问题 ###

1.如果启动的时候报:JAVA\_HOME is not set, 则在sbin/spark-config.sh中添加入JAVA\_HOME变量即可. 不要忘记分发修改的文件  
增加

export JAVA_HOME=/export/servers/jdk

2.如果在 yarn 日志端无法查看到具体的日志, 则在yarn-site.xml中添加如下配置  
![在这里插入图片描述][20200927182217671.png_pic_center]

<property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>

[20200927182217671.png_pic_center]: /images/20221023/4af39dd1fa7e46f0a55b1b3408d832a8.png