1-1、Spark 的local模式安装

你的名字 2022-08-18 11:32 24阅读 0赞

软件：

jdk1.8

centos6.5

hadoop2.6.0

spark-1.5.2-bin-hadoop2.6.tgz

1、解压，编辑spark-env.sh文件

[root@spark0 conf]# cp spark-env.sh.template spark-env.sh
    [root@spark0 conf]# vim spark-env.sh
    SPARK_MASTER_IP=192.168.6.2

![Center][]

2、设置主节点IP地址：

![Center 1][]

3、设置从节点IP地址：

![Center 2][]

添加IP地址：

![Center 3][]

4、启动：

sbin/start-all.sh

![Center 4][]

查看进程：

![Center 5][]

5、启动spark-shell：

bin/spark-shell

![Center 6][]

6、运行一个简单的例子：

val rdd=sc.textFile("/home/spark0/spark.txt").collect

![Center 7][]

7、网页 http://192.168.6.2:4040/jobs/ 查看任务：

![Center 8][]

[Center]: /images/20220731/17020c284dca4a74a520b828d2e1e51b.png
[Center 1]: /images/20220731/ca61cc54355e4101bd741d2d21cd5d7d.png
[Center 2]: /images/20220731/65fc0f89c7204157ab0431f4a47b863e.png
[Center 3]: /images/20220731/912262c163f84c1f807b48d04c8941cd.png
[Center 4]: /images/20220731/00d6f272f6e840dfb2f704e7943fdb09.png
[Center 5]: /images/20220731/0eb3ab8d7088400590762b2f7172787f.png
[Center 6]: /images/20220731/c056c20601bc4a5cb3d7bd5ef3c77448.png
[Center 7]: /images/20220731/92541b60da6a43acb7e96245e9c39a6f.png
[Center 8]: /images/20220731/ef8d6d3bd2aa42568a93086dde7e2735.png

发表评论取消回复

表情：

评论列表（有 0 条评论，24人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark Local模式安装（保姆式详细教程附代码）

Spark Local模式安装 -------------------- 文章目录 Spark Local模式安装一、实验目的二、实验原理

快来打我*/ 2024年03月30日 15:43/ 0 赞/ 51 阅读

相关 Spark运行环境及不同部署模式：Local模式和Standalone模式

-------------------- title: Spark运行环境及不同部署模式:Local模式和Standalone模式 date: 2021-05-07 16

深碍√TFBOYSˉ_/ 2023年10月04日 12:44/ 0 赞/ 39 阅读

相关 Spark-Yarn模式安装部署

目录可能碰到的问题 1.解压 Spark 安装包 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -

￡神魔★判官ぃ/ 2022年11月09日 14:18/ 0 赞/ 198 阅读

相关 Spark教程-Spark安装单机模式（一）

1.下载安装包 http://spark.apache.org/downloads.html 2.解压缩 tar -zxvf spark-3.0.1-bin-had

墨蓝/ 2022年10月16日 01:59/ 0 赞/ 297 阅读

相关 1-1、Spark 的local模式安装

软件： jdk1.8 centos6.5 hadoop2.6.0 spark-1.5.2-bin-hadoop2.6.tgz 1、解压，编辑

你的名字/ 2022年08月18日 11:32/ 0 赞/ 25 阅读

相关如何使用Spark的local模式远程读取Hadoop集群数据

我们在windows开发机上使用spark的local模式读取远程hadoop集群中的hdfs上的数据，这样的目的是方便快速调试，而不用每写一行代码或者一个方法，一个类文件都需

我不是女神ヾ/ 2022年06月18日 06:57/ 0 赞/ 378 阅读

相关 spark 单机模式下安装

解压复制到/usr/local/目录下并改名为spark 在spark/conf下编辑 vi spark-env.sh 在第一行增加 export SPAR

蔚落/ 2022年06月06日 06:51/ 0 赞/ 203 阅读

相关 spark local模式

spark作业运行集群有俩种部署模式，一种是spark Standalone集群，还有一种是YARN集群+Spark客户端所以我们认为提交spark作业的俩种主要方式就是，

旧城等待，/ 2022年05月18日 20:49/ 0 赞/ 177 阅读

相关 c++11： thread_local

thread\_local变量是C++ 11新引入的一种存储类型。它会影响变量的存储周期(Storage duration)，C++中有4种存储周期： 1. automat

r囧r小猫/ 2022年01月19日 23:45/ 0 赞/ 229 阅读

相关 Spark集群模式安装

实现步骤： 1）上传解压spark安装包 2）进入spark安装目录的conf目录 3）配置spark-env.sh文件配置示例： \本机ip地址

旧城等待，/ 2021年11月05日 17:00/ 0 赞/ 401 阅读