Spark集群搭建+基于zookeeper实现高可用HA

r囧r小猫 2023-10-06 08:39 4阅读 0赞

> vi spark-env.sh(三台都要)

export JAVA_HOME=/usr/java/jdk1.8.0_20/
    
    export SCALA_HOME=/home/iespark/hadoop_program_files/scala-2.10.6/
    
    export HADOOP_HOME=/home/iespark/hadoop_program_files/hadoop-2.6.0
    
    export HADOOP_CONF_DIR=/home/iespark/hadoop_program_files/hadoop-2.6.0/etc/hadoop
    
    #export SPARK_MASTER_IP=hadoop5（设置了zookeeper这行不用了，注释掉）
    
    export SPARK_DAEMON_JAVA_OPTS=”-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 –Dspark.deploy.zookeeper.dir=/spark”
    
    export SPARK_WORKER_MEMORY=2g
    
    export SPARK_EXECUTOR_MEMORY=2g
    
    export SPARK_DRIVER_MEMORY=2g
    
    export SPARK_WORKER_CORES=1
    
    #export SPARK_PID_DIR=/home/iespark/hadoop_program_files/sparkdata

参考链接：[https://blog.csdn.net/lishuan182/article/details/52331333][https_blog.csdn.net_lishuan182_article_details_52331333]

[https_blog.csdn.net_lishuan182_article_details_52331333]: https://blog.csdn.net/lishuan182/article/details/52331333

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关 flink HA高可用Standalone集群搭建

`flink 1.9.2`版本搭建的HA JM存在bug：明明在`node01, node02`两个节点上都有JM，但是孰是`activing`，孰是`standby`状

古城微笑少年丶/ 2023年10月06日 12:22/ 0 赞/ 32 阅读

相关 Spark集群搭建+基于zookeeper实现高可用HA

> vi spark-env.sh(三台都要) export JAVA_HOME=/usr/java/jdk1.8.0_20/ export SCA

r囧r小猫/ 2023年10月06日 08:39/ 0 赞/ 5 阅读

相关高可用redis集群搭建

在web项目里出现高并发时，可以通过负载均衡来处理，redis的插槽分配机制就是一个负载均衡的模式。 Redis集群节点复制介绍（1）Redis集群的每个节点都有两种

冷不防/ 2023年08月17日 16:11/ 0 赞/ 150 阅读

相关如何搭建memcache群集实现高可用？

文章目录前言一：环境介绍 1.1：环境 1.2：试验目的 1.3：magent概述二

红太狼/ 2023年07月03日 12:26/ 0 赞/ 21 阅读

相关基于Zookeeper搭建Kafka高可用集群

文章目录一、Zookeeper集群搭建 1.1 下载 & 解压 1.2 修改配置 1.3 标识节点 1.4

àì夳堔傛蜴生んèń/ 2023年03月02日 10:58/ 0 赞/ 13 阅读

相关 zookeeper集群搭建实现高可用

本文在一台机器上部署了3个zookeeper节点，准确的说是伪集群，节点之间没有部署在不同的机器上，但操作是类似的，生产环境还是推荐节点之间要部署在不同的机器上。⼀台机器上

今天药忘吃喽~/ 2022年12月18日 01:49/ 0 赞/ 205 阅读

相关搭建高可用 RocketMQ 集群

RocketMQ发展历史 RocketMQ是一个由阿里巴巴开源的消息中间件， 2012年开源，2017年成为apache顶级项目。RocketMQ在阿里内部应用是非常

港控/mmm°/ 2022年10月30日 06:27/ 0 赞/ 308 阅读

相关 ActiveMQ+Zookeeper 集群配置实现高可用

1.安装配置zookeeper集群，详见博客Zookeeper集群模式安装[http://blog.csdn.net/u012343297/article/details/78

- 日理万妓/ 2022年06月03日 01:08/ 0 赞/ 249 阅读

相关搭建高可用mongodb集群--副本集

转载自[LANCEYAN.COM][] 和[https://www.cnblogs.com/clsn/p/8214345.html\auto\_id\_11][https_ww

桃扇骨/ 2022年05月17日 06:06/ 0 赞/ 265 阅读

相关高可用rabbitMq集群搭建

消息中间件—RabbitMQ 一般来说，如果只是为了学习RabbitMQ或者验证业务工程的正确性那么在本地环境或者测试环境上使用其单实例部署就可以了，但是出于MQ中间件本

梦里梦外;/ 2022年02月24日 18:58/ 0 赞/ 412 阅读