7-安装Spark

我不是女神ヾ 2021-12-15 10:23 199阅读 0赞

# 1、Apache Hadoop2.7中的YARN与JAVA8有冲突，如果想要使用spark on yarn，首先需要在yarn-site.xml中配置如下项： #

<property>  
　　　　<name>yarn.nodemanager.pmem-check-enabled</name>  
　　　　<value>false</value>  
　　</property>  
　　<property>  
　　　　<name>yarn.nodemanager.vmem-check-enabled</name>  
　　　　<value>false</value>  
　　</property>

# 2、将yarn-site.xml分发给所有机器 #

scp ./yarn-site.xml s11:/opt/app/hadoop-2.7.2/etc/hadoop/  
　　scp ./yarn-site.xml s12:/opt/app/hadoop-2.7.2/etc/hadoop/  
　　scp ./yarn-site.xml s13:/opt/app/hadoop-2.7.2/etc/hadoop/  
　　scp ./yarn-site.xml s14:/opt/app/hadoop-2.7.2/etc/hadoop/

# 3、解压 #

tar -xzvf spark-2.3.1-bin-hadoop2.7.tgz -C /opt/app

# 3、配置环境变量 #

export SPARK\_HOME=/opt/app/spark-2.3.1-bin-hadoop2.7

追加到PATH：:$SPARK\_HOME/bin:$SPARK\_HOME/sbin

# 4、进入到spark的conf目录 #

cp spark-env.sh.template spark-env.sh

# 5、vi spark-env.sh #

HADOOP\_CONF\_DIR=/opt/app/hadoop-2.7.2/etc/hadoop //hadoop的etc/hadoop目录下，注意

注：其实上述配置的用意很简单，spark可以通过我们的配置文件自动去寻找YARN的连接地址，同时，spark也能找到HDFS等Hadoop一切的相关配置

# 6、启动 #

spark-shell

转载于:https://www.cnblogs.com/lihaozong2013/p/10619213.html

发表评论取消回复

表情：

评论列表（有 0 条评论，199人围观）

还没有评论，来说两句吧...

相关阅读

相关 CentOS 7.6 安装 Spark 1.6.1

> 先参考文章安装好 hadoop，[CentOS 7.6 安装 Hadoop2.6.0][CentOS 7.6 _ Hadoop2.6.0] 一、安装环境 C

秒速五厘米/ 2023年05月29日 05:22/ 0 赞/ 93 阅读

相关 Spark安装

1、什么是Spark（官网：[http://spark.apache.org/][http_spark.apache.org]） ![watermark_type_ZmF

你的名字/ 2023年01月01日 02:53/ 0 赞/ 131 阅读

相关 Centos7下Spark下载与安装

目录 Centos7下Spark安装第一步：软件下载或编译第二步：安装软件（1）上传文件

短命女/ 2022年11月26日 15:54/ 0 赞/ 210 阅读

相关 Spark安装

前提：安装好hadoop和jdk 1.下载Scala和Spark ![这里写图片描述][20161116120843754] 在spark官网选择好自己要安装的版本

超、凢脫俗/ 2022年07月15日 12:12/ 0 赞/ 150 阅读

相关 Spark安装

前提：安装好hadoop和jdk 1.下载Scala和Spark ![这里写图片描述][20161116120843754] 在spark官网选择好自己要安装的版本

今天药忘吃喽~/ 2022年07月15日 12:12/ 0 赞/ 170 阅读

相关 spark安装

首先安装Java jdk： yum -y list java\ 。 yum -y install java-1.8.0-openjdk.x86\_64 java -

缺乏、安全感/ 2022年07月13日 06:14/ 0 赞/ 165 阅读

相关 Spark -7：提交spark应用程序

Spark的bin目录中的 `spark-submit`脚本用于启动集群上的应用程序。它可以通过统一的接口使用Spark的所有支持的集群管理器，因此您不必为每个集群管理器专门配

系统管理员/ 2022年07月11日 07:36/ 0 赞/ 261 阅读

相关 [Spark] CentOS6.7安装独立版Spark

1. 系统环境： Linux：CentOS6.7 JDK: jdk-1.8.0\_131 Scala: Scala-2.12.2 Spark: Spark-2.

我就是我/ 2022年06月13日 09:24/ 0 赞/ 219 阅读

相关 CentOS7安装spark2.0集群

1、虚拟机运行环境： JDK： jdk1.8.0\_171 64位 Scala：scala-2.12.6

ゝ一世哀愁。/ 2022年05月22日 05:13/ 0 赞/ 204 阅读

相关 7-安装Spark

1、Apache Hadoop2.7中的YARN与JAVA8有冲突，如果想要使用spark on yarn，首先需要在yarn-site.xml中配置如下项：　　<pr

我不是女神ヾ/ 2021年12月15日 10:23/ 0 赞/ 200 阅读