VMware创建Linux虚拟机之（五）Spark完全分布式部署教程

我会带着你远行 2024-04-28 07:56 65阅读 0赞

#### ![c8c465bd284c409ca913d08fa97ab1a9.png][] ####

Hello，转眼间已到2022年底，学期末……

总体来说，今年经历了很多，真正的成长了许多，成熟了许多。

只能说，希望，明天依旧美好！！！

--------------------

?本篇博客使用到的工具有：VMware16 ，Xftp7

**若不熟悉操作命令，推荐使用带GUI页面的CentOS7虚拟机**

我将使用带GUI页面的虚拟机演示

#### 虚拟机（Virtual Machine） ####

指通过[软件][Link 1]模拟的具有完整[硬件][Link 2]系统功能的、运行在一个完全[隔离][Link 3]环境中的完整[计算机系统][Link 4]。在实体计算机中能够完成的工作在虚拟机中都能够实现。在[计算机][Link 5]中创建虚拟机时，需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的[CMOS][]、硬盘和[操作系统][Link 6]，可以像使用实体机一样对虚拟机进行操作。

#### **【确保服务器集群安装和配置已经完成！】可参考我的博客：** ####

[VMware创建Linux虚拟机之（一）实现免密登录\_Vim\_飞鱼的博客-CSDN博客][VMware_Linux_Vim_-CSDN]

[VMware创建Linux虚拟机之（二）下载安装JDK与配置Java环境变量\_Vim\_飞鱼的博客-CSDN博客][VMware_Linux_JDK_Java_Vim_-CSDN]

[VMware创建Linux虚拟机之（三）Hadoop安装与配置及搭建集群\_Vim\_飞鱼的博客-CSDN博客\_利用vmware虚拟机安装hadoop][VMware_Linux_Hadoop_Vim_-CSDN_vmware_hadoop]

[VMware创建Linux虚拟机之（四）ZooKeeper&HBase完全分布式安装\_Vim\_飞鱼的博客-CSDN博客\_在vmware中hbase的安装和配置][VMware_Linux_ZooKeeper_HBase_Vim_-CSDN_vmware_hbase]

##  ##

## **前言** ##

--------------------

请根据读者的自身情况，进行相应随机应变。

我的三台CentOS7服务器：  
主机：master（192.168.149.101）  
从机：slave1（192.168.149.102）  
从机：slave2（192.168.149.103）

每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录通过 scp 命令复制到其他节点即可。

注意：所有操作都是root用户权限，需要我们登陆时选择root用户登录。

--------------------

> 唯有热爱，可抵岁月漫长，唯有热爱，不畏世间无常！
> 
>   
> 继Mapreduce之后，作为新一代并且是主流的计算引擎，学好Spark是非常重要的，这一篇博客会专门介绍如何部署一个分布式的Spark计算框架，在之后的博客中，会继续讲到Spark的基本模块的介绍以及底层原理，好了，废话不多说，直接开始吧！

> ### 下载Spark安装包 ###

--------------------

部署Spark时，我们使用的版本如下所示：

[Apache Spark™ - Unified Engine for large-scale data analytics![icon-default.png?t=M85B][icon-default.png_t_M85B]https://spark.apache.org/][Apache Spark_ - Unified Engine for large-scale data analytics_icon-default.png_t_M85B_icon-default.png_t_M85B_https_spark.apache.org]![bd934dcf0b6544868c0e09e3384d87be.png][]

###  ###

> ### 解压Spark安装包 ###

--------------------

首先，需要确保 **network 网络**已经配置好，使用 Xftp 等类似工具进行上传，把**spark-3.1.2-bin-hadoop3.2.tgz** 上传到 opt/ 目录内。（也可使用U盘等工具拖拽）  
上传完成后，在 master 主机上执行以下代码： 解压Spark

cd /opt/
    
    tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz

执行成功后，系统在 **opt** 目录自动创建 **spark-3.1.2** 子目录。

注意：可使用 **ls** 等命令查看文件解压是否无误。

![09be9318a6b7437db9034edb30b1e6e9.png][]

--------------------

> ### 配置bashrc文件(等同于profile) ###

--------------------

#Spark
    
    export SPARK_HOME=/opt/spark-3.1.2
    
    export PATH=$SPARK_HOME/bin:$PATH

**三台虚拟机均进行此操作**

--------------------

> ### 修改spark-env.sh文件 ###

--------------------

[root@master conf]# cp spark-env.sh.template spark-env.sh
    
    [root@master conf]# vim spark-env.sh
    
    [root@master conf]#

添加如下内容：

export JAVA_HOME=/opt/jdk1.8.0_261
    
    export HADOOP_HOME=/opt/hadoop/hadoop
    
    export SPARK_MASTER_IP=master
    
    export SPARK_MASTER_PORT=7077
    
    export SPARK_DIST_CLASSPATH=$(/opt/hadoop/hadoop/bin/hadoop classpath)
    
    export HADOOP_CONF_DIR=/opt/hadoop/hadoop/etc/hadoop
    
    export SPARK_YARN_USER_ENV="CLASSPATH=/opt/hadoop/hadoop/etc/hadoop"
    
    export YARN_CONF_DIR=/opt/hadoop/hadoop/etc/hadoop

如下图所示：

![b13d3fb7be9442dbb80129be4524835f.png][]

--------------------

> ### 将spark拷贝到其他两个节点 ###

--------------------

[root@master conf]# scp -r /opt/spark-3.1.2/ slave1:/opt/
    
    [root@master conf]# scp -r /opt/spark-3.1.2/ slave2:/opt/

> ### 启动spark集群并查看进程 ###

--------------------

master：

[root@master opt]# /opt/spark-3.1.2/sbin/start-all.sh
    
    starting org.apache.spark.deploy.master.Master, logging to /opt/spark-3.1.2/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
    slave1: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-3.1.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.out
    slave2: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-3.1.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.out
    master: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-3.1.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
    
    [root@master opt]# jps
    3860 Worker
    3677 Master
    3886 Jps

slave1：

[root@slave1 ~]# jps
    1749 Worker
    1806 Jps
    
    [root@slave1 ~]#

slave2：

[root@slave2 ~]# jps
    3667 Jps
    3590 Worker
    
    [root@slave2 ~]#

--------------------

> ### **启动****spark****检测是否能正常启动** ###

启动local模式：**spark-shell --master local**

[root@master hadoop]# cd /opt/spark-3.1.2/conf/
    
    [root@master conf]# spark-shell --master local
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/opt/spark-3.1.2/jars/slf4j-log4j12-1.7.30.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/opt/hadoop/hadoop/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
    2022-12-21 22:01:54,437 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark context Web UI available at http://leader:4040
    Spark context available as 'sc' (master = local, app id = local-1671631329749).
    Spark session available as 'spark'.
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 3.1.2
          /_/
             
    Using Scala version 2.12.10 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_261)
    Type in expressions to have them evaluated.
    Type :help for more information.
    
    scala>

结合实例，可以看到我们的 **Spark** 组件已经完美部署完成！

#### 请问，你学废了吗？ ####

![566bfef0a8c7403dbd2cce507bc0549f.jpeg][]

[c8c465bd284c409ca913d08fa97ab1a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/28/1fccc07c13e348a8b6796937e151acb0.png
[Link 1]: https://baike.baidu.com/item/%E8%BD%AF%E4%BB%B6/12053?fromModule=lemma_inlink
[Link 2]: https://baike.baidu.com/item/%E7%A1%AC%E4%BB%B6?fromModule=lemma_inlink
[Link 3]: https://baike.baidu.com/item/%E9%9A%94%E7%A6%BB/33079?fromModule=lemma_inlink
[Link 4]: https://baike.baidu.com/item/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%B3%BB%E7%BB%9F/7210959?fromModule=lemma_inlink
[Link 5]: https://baike.baidu.com/item/%E8%AE%A1%E7%AE%97%E6%9C%BA/140338?fromModule=lemma_inlink
[CMOS]: https://baike.baidu.com/item/CMOS/428167?fromModule=lemma_inlink
[Link 6]: https://baike.baidu.com/item/%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/192?fromModule=lemma_inlink
[VMware_Linux_Vim_-CSDN]: https://blog.csdn.net/m0_63244368/article/details/127142071
[VMware_Linux_JDK_Java_Vim_-CSDN]: https://blog.csdn.net/m0_63244368/article/details/127216154
[VMware_Linux_Hadoop_Vim_-CSDN_vmware_hadoop]: https://blog.csdn.net/m0_63244368/article/details/127209945
[VMware_Linux_ZooKeeper_HBase_Vim_-CSDN_vmware_hbase]: https://blog.csdn.net/m0_63244368/article/details/128201711
[icon-default.png_t_M85B]: https://csdnimg.cn/release/blog_editor_html/release2.2.0/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=M85B
[Apache Spark_ - Unified Engine for large-scale data analytics_icon-default.png_t_M85B_icon-default.png_t_M85B_https_spark.apache.org]: https://spark.apache.org/
[bd934dcf0b6544868c0e09e3384d87be.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/28/22d382de581647d083213ed43141e89e.png
[09be9318a6b7437db9034edb30b1e6e9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/28/f935d7db7b2e4410b98394cf798926e5.png
[b13d3fb7be9442dbb80129be4524835f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/28/7e7791ca73734a138aa236ceb8537c4c.png
[566bfef0a8c7403dbd2cce507bc0549f.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/28/aaf82a8cb85b4280beb0bdfd2e777dad.jpeg