多台服务器搭建Spark集群

女爷i 2023-08-17 16:14 148阅读 0赞

**一、设备条件**

**     **\* 阿里云服务器(Master)     1

\* 本机(Slave)                  1

**二、软件条件**

**      jdk 1.8：[https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html][https_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]**

**       spark 2.4.3：[http://mirror.bit.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz][http_mirror.bit.edu.cn_apache_spark_spark-2.4.3_spark-2.4.3-bin-hadoop2.7.tgz]**

**三、步骤**

1、在Master的服务器上防火墙中开放7077端口或者关闭防火墙，这样 Slave 才能连接到 Master。

2、在Master服务器上启动 spark-master。master的启动文件在spark文件夹的sbin文件夹下。我指定了master的IP地址为服务器的内网IP。

./sbin/start-master.sh  -h 内网IP

启动成功后可以打开浏览器输入 http://外网IP:8080 , 来查看SparkMaster的信息。XXX.XX.XX.XXX是外网IP，YYY.YY.YY.YYY是内网IP。

![1533136-20190726125537550-897024785.png][]

3、在主机上启动 slave 来为master创建的节点

./start-slave.sh spark://XXX.XX.XX.XXX:7077

这里 XXX.XX.XX.XXX是外网IP。

查看 log输出，完成之后，在SparkMaster的webUI页面就会多一个Worker。OK，集群搭建完成

转载于:https://www.cnblogs.com/Lyh1997/p/11249620.html

[https_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[http_mirror.bit.edu.cn_apache_spark_spark-2.4.3_spark-2.4.3-bin-hadoop2.7.tgz]: http://mirror.bit.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
[1533136-20190726125537550-897024785.png]: /images/20230810/ca1d9a4c281741af86950c4958ed0e4b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，148人围观）

还没有评论，来说两句吧...

相关阅读

相关多台服务器搭建Spark集群

一、设备条件 \ 阿里云服务器(Master) 1 \ 本机(Slave) 1 二、软件条件

女爷i/ 2023年08月17日 16:14/ 0 赞/ 149 阅读

相关 spark 集群搭建

首先 [搭建spark单机][spark] 然后 [搭建hadoop hdfs][hadoop hdfs] 在单机spark的基础上，修改配置文件 cp /us

ゝ一纸荒年。/ 2023年06月25日 03:26/ 0 赞/ 33 阅读

相关多台服务器搭建Nacos集群

准备好安装有CentOS7的3台虚拟机，下面的步骤中，第一、二、四步，3台虚拟机做同样的操作，其中第三步只做一次，因为三个nacos节点都跟这个mysql打交道，这个mysq

骑猪看日落/ 2023年02月22日 03:59/ 0 赞/ 63 阅读

相关 redis集群搭建（多台云服务器搭建集群，非单台服务）

我是在两台云服务器上搭建的redis集群， ①首先两台云服务器上必须要安装redis，（这里省略安装步骤） ②在搭建redis集群之前需要安装ruby。re

拼搏现实的明天。/ 2022年11月21日 04:26/ 0 赞/ 315 阅读

相关多台主机搭建redis集群

之前在一台主机上搭建好了一个集群环境（192.168.187.226）就是基本的7000、7001、7002、7003、7004、7005，现在想在192.168.187.2

ゝ一世哀愁。/ 2022年08月02日 14:48/ 0 赞/ 235 阅读

相关一台服务器搭建伪redis集群

本教程为伪集群(一台服务器安装redis集群) 1、创建一个redis-cluster目录(名字/位置随意),然后把单机版的bin目录下所有文件复制到集群里(多少个集群建立

谁借莪１个温暖的怀抱￠/ 2022年06月01日 02:39/ 0 赞/ 314 阅读

相关三台服务器搭建zookeeper集群

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeepe

系统管理员/ 2022年05月24日 06:42/ 0 赞/ 270 阅读

相关两台服务器搭建zookeeper集群

两台服务器搭建zookeeper集群 ZooKeeper做三节点集群，启动后报错如下： [root@centos conf] zkServer.sh

女爷i/ 2022年05月13日 11:28/ 0 赞/ 511 阅读

相关两台服务器搭建redis集群

两台服务器搭建redis集群两台服务器，各启动三个实例，形成三主三从实验机器IP： 172.31.25.110 172.31.25.111

太过爱你忘了你带给我的痛/ 2022年05月13日 11:26/ 0 赞/ 642 阅读

相关三台服务器Redis集群搭建

1、安装配置redis 安装redis步骤如下：下载最新版本或拷贝源版本到安装机器 \ wget http://download.redis.io/releases

淡淡的烟草味﹌/ 2022年02月28日 14:58/ 0 赞/ 668 阅读