spark的安装总结

红太狼 2022-05-10 05:50 152阅读 0赞

安装容易产生的错误：

1.  spark不需要设置环境变量，因为spark在/home/hadoop/spark/spark-2.3.1-bin-hadoop2.7目录下启动sbin/start-all.sh  
    如果设置spark环境变量，[直接启动start-all.sh][start-all.sh] 会启动hadoop的集群
2.  spark集群的搭建，进行web ui master 现行aclive worker有几个工作节点，说明spark集群安装成功，当启动另一个master，sbin/start-master.sh web ui 显示的是standby，当aclive宕机的时候，standby会充当AVlive，中间会有一段小延时。
3.  spark安装，需要修改的配置文件（进入conf）  
    a) mv spark-env.sh.template [spark-env.sh][]  
    export JAVA\_HOME=/home/hadoop/java/jdk1.8.0\_73  
    export SPARK\_DAEMON\_JAVA\_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01,hadoop02,hadoop03 -Dspark.deploy.zookeeper.dir=/spark"  
    export SPARK\_MASTER\_PORT=7077  
    b) mv slaves.template slaves  
    hadoop01  
    hadoop02  
    hadoop03

c) 将安装包scp 发送给所有安装节点  
d) 启动saprk集群  
在/home/hadoop/spark/spark-2.3.1-bin-hadoop2.7目录下  
输入sbin/start-all.sh  
e) 验证，jps查看是否有master和worker进程  
或登入web ui 网页查看 ip：8080  
f) 启动spark-submit 验证  
~/spark/spark-2.3.1-bin-hadoop2.7/bin/spark-submit  
–class org.apache.spark.examples.SparkPi  
–master spark://hadoop01:7077  
–executor-memory 512m  
–total-executor-cores 2  
~/spark/spark-2.3.1-bin-hadoop2.7/examples/jars/spark-examples\_2.11-2.3.1.jar  
100  
g)

1.  搭建saprk historyServer  
    a) 在conf下  
    cp spark-defaults.conf.template spark-defaults.conf  
    在文件里面添加如下内容：  
    spark.eventLog.enabled true  
    spark.eventLog.dir hdfs://ha01/sparklog  
    ha01 是hadoop中namenode的hdfs-site.xml

b) 在 [spark-evn.sh][] 的文件里面添加如下内容：  
export SPARK\_HISTORY\_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://ha01/sparklog"  
c) 在HistorServer服务之前在在hdfs中创建hdfs://myha01/sparklog  
hadoop fs -mkdir -p hdfs://myha01/sparklog  
创建sparklog的目录  
d) 将hadoop所在目录/home/hadoop/hadoop/hadoop-2.7.6/etc/hadoop的配置文件  
Hdfs-site.xml cp 到spark的conf目录中  
cp hdfs-site.xml ~/spark/spark-2.3.1-bin-hadoop2.7/conf

e) 启动命令 在~/spark/spark-2.3.1-bin-hadoop2.7目录下  
启动sbin/start-history-server.sh  
f) 验证 访问master的ip：18080 ，例如http://hadoop02:18080/  
5.在创建historyserver，一定要将hadoop的配置文件 hdfs-site.xml 复制到spark集群的conf中，并且master所在节点已经修改historyServer的配置文件

[start-all.sh]: http://xn--start-all-fy5om8k9o5d7p2c.sh
[spark-env.sh]: http://spark-env.sh
[spark-evn.sh]: http://spark-evn.sh