hadoop+zookeeper+yarn搭建高可用完全分布式环境详细步骤

Myth丶恋晨 2023-09-28 20:39 9阅读 0赞

一、**zookeeper集群的安装**。

（我亲自成功搭建过的一套集群，涉及到很多的细节，但是有的细节地方我不一定能完全写出，如果有遇到问题的可以留言）

前提准备3台centos7.0虚拟机

(1)首先设置每台虚拟机的网络连接方式为net方式，然后修改每台虚拟机的IP地址为静态IP（虚拟机设置里面），然后修改每台主机的主机名(/etc/hostname)，最后把下面的IP和主机名的映射写到每台虚拟机的/etc/hosts文件中，注意是在每台机器上都执行。具体如下（本篇文章重点在搭建环境，上述准备工作不会的请自行百度。一定更要确保这一步做完，否则后边会出现很多问题。）
    192.168.70.103：node1
    
    192.168.70.104:node2
    
    192.168.70.105:node3
    
    (2)下载zookeeper并解压
    登录到node1并进入/opt目录下执行如下命令
    [root@node1 opt]$ wget http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
    [root@node1 opt]$ tar -zxvf zookeeper-3.4.10.tar.gz
    [root@node1 opt]$ chmod +wxr zookeeper-3.4.10
    
    (3)修改zookeeper的配置文件，并建立数据目录和日志目录
    [root@node1 opt]$ cd zookeeper-3.4.10
    [root@node1 zookeeper-3.4.10]$ mkdir data
    [root@node1 zookeeper-3.4.10]$ mkdir logs
    [root@node1 zookeeper-3.4.10]$ vi conf/zoo.cfg (打开后在文件中找到下面的字段然后照着写)
    # example sakes.
    dataDir=/opt/zookeeper-3.4.10/data
    dataLogDir=/opt/zookeeper-3.4.10/logs
    server.1=node1:2888:3888
    server.2=node2:2888:3888
    server.3=node3:2888:3888
    
    [root@node1 zookeeper-3.4.10]$ cd data
    [root@node1 data]$ vi myid
    1
    
    
    (4)复制node3的zookeeper-3.4.10到node2和node3上
    [root@node1 opt]$ scp zookeeper-3.4.10 root@node2:/opt/zookeeper-3.4.10
    [root@cnode1 opt]$ scp zookeeper-3.4.10 root@node3:/opt/zookeeper-3.4.10
    
    
    (5)分别修改node2和node3上myid的值为2和3
    [root@node2 zookeeper-3.4.10]$ vi data/myid 
    2
    [root@node3 zookeeper-3.4.10]$ vi data/myid 
    3
    
    (6)分别启动node1、node2、node3上的zookeeper
    [root@node1 zookeeper-3.4.10]$ bin/zkServer.sh start
    [root@node2 zookeeper-3.4.10]$ bin/zkServer.sh start
    [root@node3 zookeeper-3.4.10]$ bin/zkServer.sh start
    
    (7)查看zookeeper的状态(一定要在三台虚拟机上全部启动zookeeper后再去查看zookeeper的状态，相信学过zookeeper的知道这里说的"状态"是什么意思)
    
    [root@node1 zookeeper-3.4.10]$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    [root@node2 zookeeper-3.4.10]$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: leader
    [root@node3 zookeeper-3.4.10]$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    
    (8)验证zookeeper集群
    [root@node1 zookeeper-3.4.10]$ bin/zkCli.sh
    Connecting to c7003:2181
    2017-04-02 03:06:12,251 [myid:] - INFO [main:Environment@100] - Client environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
    2017-04-02 03:06:12,257 [myid:] - INFO [main:Environment@100] - Client environment:host.name=c7003.ambari.apache.org
    2017-04-02 03:06:12,257 [myid:] - INFO [main:Environment@100] - Client environment:java.version=1.8.0_121
    2017-04-02 03:06:12,260 [myid:] - INFO [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
    2017-04-02 03:06:12,260 [myid:] - INFO [main:Environment@100] - Client environment:java.home=/opt/jdk1.8.0_121/jre
    2017-04-02 03:06:12,260 [myid:] - INFO [main:Environment@100] - Client environment:java.class.path=/opt/zookeeper-3.4.10/bin/../build/classes:/opt/zookeeper-3.4.10/bin/../build/lib/*.jar:/opt/zookeeper-3.4.10/bin/../lib/slf4j-log4j12-1.6.1.jar:/opt/zookeeper-3.4.10/bin/../lib/slf4j-api-1.6.1.jar:/opt/zookeeper-3.4.10/bin/../lib/netty-3.10.5.Final.jar:/opt/zookeeper-3.4.10/bin/../lib/log4j-1.2.16.jar:/opt/zookeeper-3.4.10/bin/../lib/jline-0.9.94.jar:/opt/zookeeper-3.4.10/bin/../zookeeper-3.4.10.jar:/opt/zookeeper-3.4.10/bin/../src/java/lib/*.jar:/opt/zookeeper-3.4.10/bin/../conf:
    2017-04-02 03:06:12,260 [myid:] - INFO [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
    2017-04-02 03:06:12,260 [myid:] - INFO [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
    2017-04-02 03:06:12,260 [myid:] - INFO [main:Environment@100] - Client environment:java.compiler=<NA>
    2017-04-02 03:06:12,260 [myid:] - INFO [main:Environment@100] - Client environment:os.name=Linux
    2017-04-02 03:06:12,260 [myid:] - INFO [main:Environment@100] - Client environment:os.arch=amd64
    2017-04-02 03:06:12,261 [myid:] - INFO [main:Environment@100] - Client environment:os.version=4.1.12-32.el7uek.x86_64
    2017-04-02 03:06:12,261 [myid:] - INFO [main:Environment@100] - Client environment:user.name=vagrant
    2017-04-02 03:06:12,261 [myid:] - INFO [main:Environment@100] - Client environment:user.home=/home/vagrant
    2017-04-02 03:06:12,261 [myid:] - INFO [main:Environment@100] - Client environment:user.dir=/opt/zookeeper-3.4.10
    2017-04-02 03:06:12,262 [myid:] - INFO [main:ZooKeeper@438] - Initiating client connection, connectString=c7003:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@506c589e
    Welcome to ZooKeeper!
    
    ls /
    [zookeeper, zk_test] 
    
    
    至此：zookeeper集群安装完毕！

**二、hadoop HA分布式集群搭建**

概述
    
    hadoop2中NameNode可以有多个（目前只支持2个）。每一个都有相同的职能。一个是active状态的，一个是standby状态的。当集群运行时，只有active状态的NameNode是正常工作的，standby状态的NameNode是处于待命状态的，时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作，standby状态的NameNode就可以转变为active状态的，就可以继续工作了。
    
    2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制，Quorum Journal Node（JournalNode）集群或者Nnetwork File System（NFS）进行共享。NFS是操作系统层面的，JournalNode是hadoop层面的，我们这里使用JournalNode集群进行数据共享（这也是主流的做法）。
    
    两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。
    
    对于HA集群而言，确保同一时刻只有一个NameNode处于active状态是至关重要的。否则，两个NameNode的数据状态就会产生分歧，可能丢失数据，或者产生错误的结果。为了保证这点，这就需要利用使用ZooKeeper了。首先HDFS集群中的两个NameNode都在ZooKeeper中注册，当active状态的NameNode出故障时，ZooKeeper能检测到这种情况，它就会自动把standby状态的NameNode切换为active状态。
    
    hadoop-ha包含HDFS的HA和YARN的HA，下面就2个部件的HA进行搭建。
    
    环境介绍：
    
    os:centos7.0
    
    hadoop:2.8.0
    
    zookeeper:3.4.10
    
    5台虚拟机，各服务部署情况如下：
    
    master1
    
    ip:192.168.70.101
    
    安装软件：Hadoop(HA)
    
    运行进程：NameNode、ResourceManager、DFSZKFailoverController
    
    
    master2
    
    ip:192.168.70.102
    
    安装软件:Hadoop(HA)
    
    运行进程:NameNode、ResourceManager、DFSZKFailoverController
    
    
    node1
    
    ip:192.168.70.103
    
    安装软件:Hadoop,Zookeeper
    
    运行进程:DataNode、NodeManager、QuorumPeerMain、JournalNode
    
    node2
    
    ip:192.168.70.104
    
    安装软件:Hadoop,Zookeeper
    
    运行进程:DataNode、NodeManager、QuorumPeerMain、JournalNode
    
    node3
    
    ip:192.168.70.105
    
    安装软件:Hadoop,Zookeeper
    
    运行进程:DataNode、NodeManager、QuorumPeerMain、JournalNode
    
    (1)准备工作<***这是出问题最多的，如果遇到问题请百度或者留言***>
    新建两台虚拟机，分别修改主机名和配置静态IP如下，和上文的zookeeper搭建时用的主机差不多
    192.168.70.101:master1
    192.168.70.101:master2
    
    在master1上修改/etc/hosts文件如下
    192.168.70.101:master1
    192.168.70.102:master2
    192.168.70.103:node1
    192.168.70.104:node2
    192.168.70.105:node3
    
    免密登录配置
    在master1的根目录下敲入：ssh-keygen -t rsa
    然后一路回车
    接着敲入:
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@master1
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@master2
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@node3
    现在实现的是master1登录到其他虚拟机时不需要密码。
    如果要实现master1、master2、node1、node2、node3任意之间的无密码登录，分别再每台机器上重复上述步骤即可。
    
    (2)在master1、master2、node1、node2、node3的/opt目录下安装jdk,并设置环境变量
    cd /etc/
    wget http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.tar.gz?AuthParam=1491205869_4d911aca9d38a4b869d2a6ecaa9bbf47
    
    tar zxvf jdk-8u121-linux-x64.tar.gz
    
    vi ~/.bash_profile
    export JAVA_HOME=/opt/jdk1.8.0_121
    export PATH=$PATH:$JAVA_HOME/bin
    
    (3)安装Hadoop集群
    
    下载并解压hadoop
    
    在master1、master2、node1、node2、node3的终端目录/opt下执行如下命令：
    wget http://219.238.4.196/files/705200000559DFDC/apache.communilink.net/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
    
    然后再把各个机器上的hadoop解压　　
    
    tar zxvf  hadoop-2.8.0.tar.gz
    
    (4)在master1终端修改hadoop配置文件，这里需要修改的有core-site.xml、hdfs-site.xml、mapreduce-site.xml、yarn-site.xml、hadoop-env.sh、mapred-env.sh、yarn-env.sh这7个文件
    
    core-site.xml
    
    <?xml version="1.0" encoding="UTF-8"?>
    
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
    
     <property>
    
      <name>fs.defaultFS</name>
    
      <value>hdfs://bdcluster</value>
    
     </property>
    
     
    
     <property>
    
      <name>hadoop.tmp.dir</name>
    
      <value>/opt/hadoop-2.8.0/tmp</value>
    
     </property>
    
     
    
     <property>
    
      <name>ha.zookeeper.quorum</name>
    
      <value>node1:2181,node2:2181,node3:2181</value>
    
     </property>
    
     <property>
    
      <name>ha.zookeeper.session-timeout.ms</name>
    
      <value>3000</value>
    
     </property>
    
    </configuration>
    
    hdfs-site.xml 
    
    <?xml version="1.0" encoding="UTF-8"?>
    
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
    
     
    
     <property>
    
      <name>dfs.nameservices</name>
    
      <value>bdcluster</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.ha.namenodes.bdcluster</name>
    
      <value>nn1,nn2</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.namenode.rpc-address.bdcluster.nn1</name>
    
      <value>master1:9000</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.namenode.rpc-address.bdcluster.nn2</name>
    
      <value>master2:9000</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.namenode.http-address.bdcluster.nn1</name>
    
      <value>master1:50070</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.namenode.http-address.bdcluster.nn2</name>
    
      <value>master2:50070</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.namenode.shared.edits.dir</name>
    
      <value>qjournal://node1:8485;node2:8485;node3:8485/bdcluster</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.journalnode.edits.dir</name>
    
      <value>/opt/hadoop-2.8.0/tmp/journal</value>
    
     </property>
    
     <property>
    
      <name>dfs.ha.automatic-failover.enabled</name>
    
      <value>true</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.client.failover.proxy.provider.bdcluster</name>
    
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    
      </value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.ha.fencing.methods</name>
    
      <value>
    
       sshfence
    
       shell(/bin/true)
    
      </value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.ha.fencing.ssh.private-key-files</name>
    
      <value>/root/.ssh/id_rsa</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.ha.fencing.ssh.connect-timeout</name>
    
      <value>30000</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.namenode.name.dir</name>
    
      <value>file:///opt/hadoop-2.8.0/hdfs/name</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.datanode.data.dir</name>
    
      <value>file:///opt/hadoop-2.8.0/hdfs/data</value>
    
     </property>
    
     
    
     <property>
    
      <name>dfs.replication</name>
    
      <value>3</value>
    
     </property>
    
    </configuration>
    
    mapred-site.xml
    
    <?xml version="1.0"?>
    
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
    
     <property>
    
      <name>mapreduce.framework.name</name>
    
      <value>yarn</value>
    
     </property>
    
     
    
     <property>
    
      <name>mapreduce.jobhistory.address</name>
    
      <value>0.0.0.0:10020</value>
    
     </property>
    
     
    
     <property>
    
      <name>mapreduce.jobhistory.webapp.address</name>
    
      <value>0.0.0.0:19888</value>
    
     </property>
    
    </configuration>
    
    yarn-site.xml
    
    <?xml version="1.0"?>
    
    <configuration>
    
     
    
     <property>
    
      <name>yarn.resourcemanager.ha.enabled</name>
    
      <value>true</value>
    
     </property>
    
     
    
     <property>
    
      <name>yarn.resourcemanager.recovery.enabled</name>
    
      <value>true</value>
    
     </property>
    
     
    
     <property>
    
      <name>yarn.resourcemanager.cluster-id</name>
    
      <value>yrc</value>
    
     </property>
    
     
    
     <property>
    
      <name>yarn.resourcemanager.ha.rm-ids</name>
    
      <value>rm1,rm2</value>
    
     </property>
    
     
    
     <property>
    
      <name>yarn.resourcemanager.hostname.rm1</name>
    
      <value>master1</value>
    
     </property>
    
     <property>
    
      <name>yarn.resourcemanager.hostname.rm2</name>
    
      <value>master2</value>
    
     </property>
    
     
    
     
    
     <property>
    
      <name>ha.zookeeper.quorum</name>
    
      <value>node1:2181,node2:2181,node3:2181</value>
    
     </property>
    
     !--配置与zookeeper的连接地址-->
    
     <property>
    
      <name>yarn.resourcemanager.zk-state-store.address</name>
    
      <value>node1:2181,node2:2181,node3:2181</value>
    
     </property>
    
     <property>
    
      <name>yarn.resourcemanager.store.class</name>
    
      <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
    
      </value>
    
     </property>
    
     <property>
    
      <name>yarn.resourcemanager.zk-address</name>
    
      <value>node1:2181,node2:2181,node3:2181</value>
    
     </property>
    
     <property>
    
      <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
    
      <value>/yarn-leader-election</value>
    
      <description>Optionalsetting.Thedefaultvalueis/yarn-leader-election
    
      </description>
    
     </property>
    
     <property>
    
      <name>yarn.nodemanager.aux-services</name>
    
      <value>mapreduce_shuffle</value>
    
     </property>
    
    </configuration>
    
    hadoop-env.sh 和 mapred-env.sh 和 yarn-env.sh
    
    export JAVA_HOME=/opt/jdk1.8.0_121
    export CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib 
    export HADOOP_HOME=/opt/hadoop-2.8.0
    export HADOOP_PID_DIR=/opt/hadoop-2.8.0/pids 
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
    export HADOOP_OPTS="$HADOOP_OPTS-Djava.library.path=$HADOOP_HOME/lib/native" 
    export HADOOP_PREFIX=$HADOOP_HOME 
    export HADOOP_MAPRED_HOME=$HADOOP_HOME 
    export HADOOP_COMMON_HOME=$HADOOP_HOME 
    export HADOOP_HDFS_HOME=$HADOOP_HOME 
    export YARN_HOME=$HADOOP_HOME 
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 
    export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop 
    export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop 
    export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native 
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
    （5）通过执行如下命令将master1修改好的配置文件同步到master2、node1、node2、node3：
    
    scp -r /opt/hadoop-2.8.0/etc/hadoop root@master2:/opt/hadoop-2.8.0/etc/
    scp -r /opt/hadoop-2.8.0/etc/hadoop root@node1:/opt/hadoop-2.8.0/etc/
    scp -r /opt/hadoop-2.8.0/etc/hadoop root@node2:/opt/hadoop-2.8.0/etc/
    scp -r /opt/hadoop-2.8.0/etc/hadoop root@node3:/opt/hadoop-2.8.0/etc/
    
    至此，hadoop的配置文件已经全部配置完毕
    
    (6)启动zookeeper集群
    分别在node1、node2、node3上执行如下命令启动zookeeper集群；
    [vagrant@node1 bin]$ sh zkServer.sh start
    验证集群zookeeper集群是否启动，分别在node1、node2、node3上执行如下命令验证zookeeper集群是否启动，集群启动成功，有两个follower节点跟一个leader节点；
    [root@node1 bin]$ sh zkServer.sh status
    JMX enabled by default
    Using config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    
    (7) 启动journalnode集群
    在master1上执行如下命令完成JournalNode集群的启动
    [root@master1 hadoop-2.8.0]$ sbin/hadoop-daemons.sh start journalnode
    执行jps命令，可以查看到JournalNode的java进程pid
    
    (8)格式化zkfc,让在zookeeper中生成ha节点
    在master1上执行如下命令，完成格式化
    hdfs zkfc -formatZK
    格式成功后，查看zookeeper中可以看到
    [zk: localhost:2181(CONNECTED) 1] ls /hadoop-ha
    [bdcluster]
    
    
    (9)格式化hdfs
    在master1上执行如下命令
    hadoop namenode -format
    
    （10）启动NameNode
    首先在master1上启动active节点，在master1上执行如下命令
    [root@master1 hadoop-2.8.0]$ sbin/hadoop-daemon.sh start namenode
    在master2上同步namenode的数据，同时启动standby的namenod,命令如下
    #把NameNode的数据同步到c7002上
    [root@master2 hadoop-2.8.0]$ bin/hdfs namenode -bootstrapStandby
    #启动master2上的namenode作为standby
    [root@master2 hadoop-2.8.0]$ sbin/hadoop-daemon.sh start namenode
    
    (11)启动启动datanode
    在master1上执行如下命令
    [root@master1 hadoop-2.8.0]$ sbin/hadoop-daemons.sh start datanode
    
    (12) 启动yarn
    在作为资源管理器上的机器上启动，我这里是master1,执行如下命令完成year的启动
    [root@master1 hadoop-2.8.0]$ sbin/start-yarn.sh
    
    (12) 启动ZKFC
    在master1上执行如下命令，完成ZKFC的启动
    [root@master1 hadoop-2.8.0]$ sbin/hadoop-daemons.sh start zkfc
    
    (13)全部启动完后分别在master1、master2、node1、node2、node3上执行jps是可以看到下面这些进程的
    
    master1
    
    ip:192.168.70.101
    
    安装软件：Hadoop(HA)
    
    运行进程：NameNode、ResourceManager、DFSZKFailoverController
    
    
    master2
    
    ip:192.168.70.102
    
    安装软件:Hadoop(HA)
    
    运行进程:NameNode、ResourceManager、DFSZKFailoverController
    
    
    node1
    
    ip:192.168.70.103
    
    安装软件:Hadoop,Zookeeper
    
    运行进程:DataNode、NodeManager、QuorumPeerMain、JournalNode
    
    node2
    
    ip:192.168.70.104
    
    安装软件:Hadoop,Zookeeper
    
    运行进程:DataNode、NodeManager、QuorumPeerMain、JournalNode
    
    node3
    
    ip:192.168.70.105
    
    安装软件:Hadoop,Zookeeper
    
    运行进程:DataNode、NodeManager、QuorumPeerMain、JournalNode
    
    （14）ResourceManager HA
    
    NameNode HA操作完之后我们可以发现只有一个节点（这里是master1）启动，需要手动启动另外一个节点（master2）的resourcemanager。
    sbin/yarn-daemon.sh start resourcemanager
    然后用以下指令查看resourcemanager状态
    yarn rmadmin -getServiceState rm1
    结果显示Active
    
    yarn rmadmin -getServiceState rm2
    而rm2是standby。
    验证HA和NameNode HA同理，kill掉Active resourcemanager，则standby的resourcemanager则会转换为Active。
    还有一条指令可以强制转换
    yarn rmadmin –transitionToStandby rm1
    
    注意：一定要在master2上修改yarn-site.xml中的mr1为mr2
    
    <property>
    　　　　<name>yarn.resourcemanager.ha.id</name>
    　　　　<value>rm2</value>
    　　　　<description>If we want to launch more than one RM in single node,we need this configuration</description>
    　</property>
    
    在master1上配置是rm1,而在master2上一定要修改为rm2,如果不修改，c7002的resourcemanager启动不了。

发表评论取消回复

表情：

评论列表（有 0 条评论，9人围观）

还没有评论，来说两句吧...

相关阅读

相关【网址收藏】k8s高可用集群详细搭建步骤

[https://github.com/opsnull/follow-me-install-kubernetes-cluster][https_github.com_opsnu

痛定思痛。/ 2023年10月05日 17:07/ 0 赞/ 2 阅读

相关 hadoop+zookeeper+yarn搭建高可用完全分布式环境详细步骤

一、zookeeper集群的安装。（我亲自成功搭建过的一套集群，涉及到很多的细节，但是有的细节地方我不一定能完全写出，如果有遇到问题的可以留言）前提准备3台ce

Myth丶恋晨/ 2023年09月28日 20:39/ 0 赞/ 10 阅读

相关 Hadoop HA高可用环境搭建

目录一：Hadoop HA 高可用 1.1 HA 概述 1.2 HDFS-HA 集群搭建 1.2.1 HDFS-HA 核心问题 1.3 HDFS-HA 手动模式

Love The Way You Lie/ 2023年09月27日 08:57/ 0 赞/ 142 阅读

相关 ClickHouse分布式高可用集群搭建

一、ClickHouse安装方式：源码编译安装 Docker安装 RPM包安装为了方便使用，一般采用RPM包方式安装，其他两种方式这里不做说明。二

痛定思痛。/ 2023年01月22日 03:52/ 0 赞/ 462 阅读

相关 Linux搭建测试环境详细步骤

本文讲解如何在Linux CentOS下部署Java Web项目的步骤环境准备（1）Linux系统（2）JDK （3）Tomcat （4）MySQL 一、L

朴灿烈づ我的快乐病毒、/ 2022年12月07日 11:47/ 0 赞/ 249 阅读

相关 Hadoop完全分布式环境搭建

搭建完全分布式环境是在会先搭建单节点的伪分布式环境上面进行的，先拷贝一份伪分布式的hadoop安装程序，jdk安装之类的就先不讲了,然后再伪分布式环境上对配置文件进行修改，

冷不防/ 2022年05月30日 09:13/ 0 赞/ 295 阅读

相关 hadoop完全分布式环境搭建

1，设置Java环境 ![复制代码][copycode.gif] rpm -ivh jdk-8u73-linux-x64.rpm 添加环境变量到启

灰太狼/ 2022年05月19日 08:52/ 0 赞/ 344 阅读

相关 Java开发环境搭建详细步骤

安装JDK 首先下载jdk进官网下载jdk ![75_appid_200556_url_http_3A_2F_2Fimg01.sogoucdn.com_2Fapp_2F

川长思鸟来/ 2022年04月23日 07:04/ 0 赞/ 323 阅读

相关 Kafka高可用环境搭建

[Kafka高可用环境搭建][Kafka] Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系

我会带着你远行/ 2022年01月28日 14:05/ 0 赞/ 315 阅读

相关 Hadoop 2.8.5 完全分布式HA高可用安装（二）--环境搭建

文章目录概述集群规划安装ZK 安装验证安装配置Hadoop集群配置Hadoop环境变量

迈不过友情╰/ 2021年12月10日 15:07/ 0 赞/ 432 阅读