[Hadoop]HDFS-HA高可用完全分布式搭建(基于hadoop-2.6.5的多NameNode形式)

男娘i 2021-11-22 10:56 236阅读 0赞

相关链接:  
HDFS伪分布式搭建(基于hadoop-2.6.5的单NameNode形式)  
[https://blog.csdn.net/a755199443/article/details/97158845][https_blog.csdn.net_a755199443_article_details_97158845]

HDFS完全分布式搭建(基于hadoop-2.6.5的单NameNode形式)  
[https://blog.csdn.net/a755199443/article/details/97163768][https_blog.csdn.net_a755199443_article_details_97163768]

hadoop-yarn环境搭建(基于hadoop-2.6.5) 2019年07月25日 19:22:16  
[https://blog.csdn.net/a755199443/article/details/97273269][https_blog.csdn.net_a755199443_article_details_97273269]

### HDFS-HA高可用完全分布式搭建 ###

环境背景

1 修改hosts文件

2 免密钥登录

3 安装zookeeper

4 安装hadoop

5 第一次启动

6 之后的启动和关闭

### 环境背景 ###

**各虚拟机的系统时间需要同步**, 各节点预先安装好jdk1.7 因为多节点有相同操作,使用xshell的同步命令能简化步骤  
使用的各节点虚拟机操作系统为CentOS\_6.5  
共四个节点node01,node02,node03,node04,ip分别为  
node01 192.168.110.101  
node02 192.168.110.102  
node03 192.168.110.103  
node04 192.168.110.104  
将以node01作为NameNode-1,node02作为NameNode-2  
node02,node03,node04作为DataNode,并在q其上zookeeper集群  
ZKFC分别位于node01,node02节点  
journalnode位于node01,node02,node03节点

![在这里插入图片描述][20190724205043280.png]  
登录用户为root

**选择node01为管理节点,若没有特殊说明,默认操作的都是node01节点**

hadoop-2.6.5资源链接:  
链接：[https://pan.baidu.com/s/1NHTCtqHbsuKztpruSRyB-A][https_pan.baidu.com_s_1NHTCtqHbsuKztpruSRyB-A]  
提取码：j0sg

zookeeper-3.4.6资源链接:  
链接：[https://pan.baidu.com/s/1CNzFnVDqOst5JuHsh5K61g][https_pan.baidu.com_s_1CNzFnVDqOst5JuHsh5K61g]  
提取码：chzx

### 1 修改hosts文件 ###

在每个节点的hosts文件末尾加上节点地址

192.168.110.101 node01
    192.168.110.102 node02
    192.168.110.103 node03
    192.168.110.104 node04

vim /etc/hosts

![在这里插入图片描述][20190724203211127.png]

### 2 免密钥登录 ###

为了使用hadoop的管理脚本控制所有节点,要使node01 获得其他节点的免密钥登录权限  
**另外为了node01和node02之间可以互相免登录(zkfc的需要)还要使node02节点获得node01节点的免密钥登陆权限**

先完成node01对其他节点的免密钥登录

node01输入命令  
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id\_dsa  
在/root目录生成.ssh目录

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]  
进入.ssh目录,其中有密钥id\_dsa和公钥id\_dsa.pub  
![在这里插入图片描述][20190724195428509.png]  
把公钥放到访问方的认证文件里即可获得免密钥登陆权限  
cat ~/.ssh/id\_dsa.pub >> ~/.ssh/authorized\_keys  
原本需要密码  
![在这里插入图片描述][20190724195448551.png]  
完成免密钥登录后不需要密码  
![在这里插入图片描述][20190724195500265.png]

接下来做其他节点的免密钥登录  
先在每个节点做一遍以下操作  
① ssh root@localhost  
② 输入密码  
③ exit

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 1]

将node01的公钥复制给其他三个节点,分别使用命令(此时还需要输入其他节点的登陆密码)

scp id_dsa.pub  root@node02:/root/.ssh/node01.pub
    scp id_dsa.pub  root@node03:/root/.ssh/node01.pub
    scp id_dsa.pub  root@node04:/root/.ssh/node01.pub

在其他三个节点的/root/.ssh目录创建认证文件

cat node01.pub >>authorized_keys

成功免密登录

![在这里插入图片描述][20190724203422140.png]

接下来做node02对node01的免密钥登录

在node02输入命令

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 2]  
先对自己做免密钥登录  
cat id\_dsa.pub >> authorized\_keys  
![在这里插入图片描述][20190724210036837.png]

然后把node02的公钥分发给node01

scp id_dsa.pub node01:/root/.ssh/node02.pub

![在这里插入图片描述][20190724210102711.png]  
在node01中将node02的公钥添加到认证文件中

cat node02.pub >> authorized_keys

![在这里插入图片描述][2019072421013845.png]  
免密钥登陆成功

![在这里插入图片描述][20190724210147171.png]

### 3 安装zookeeper集群 ###

要在node02/03/04三个节点安装zookeeper集群

3.1 修改环境变量  
先在三个节点修改环境变量

vi /etc/profile

修改添加:

export JAVA_HOME=/usr/java/jdk1.7.0_67
    export HADOOP_PREFIX=/opt/hdfs/hadoop-2.6.5
    export ZOOKEEPER_HOME=/opt/hdfs/zookeeper-3.4.6
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin:$ZOOKEEPER_HOME/sbin:$ZOOKEEPER_HOME/bin

![在这里插入图片描述][20190724211858493.png]  
使环境变量生效,输入

source /etc/profile

3.2 解压安装  
使用node02先安装zookeeper,安装完后分发给其他节点即可  
解压zookeeper,将文件夹移动到/opt/hdfs/zookeeper-3.4.6  
进入conf目录  
备份一个zoo\_sample.cfg,重命名为zoo.cfg,修改zoo.cfg文件(此为被使用的配置文件)  
![在这里插入图片描述][20190724212020482.png]  
编辑第12行  
![在这里插入图片描述][20190724212039775.png]  
改为  
![在这里插入图片描述][20190724212046335.png]  
在文件末尾加上

server.1=192.168.110.102:2888:3888
    server.2=192.168.110.103:2888:3888
    server.3=192.168.110.104:2888:3888

![在这里插入图片描述][20190724212141722.png]

3.3 分发zookeeper  
由node02节点分发zookeeper

scp -r zookeeper-3.4.6/ node03:/opt/hdfs/
    scp -r zookeeper-3.4.6/ node04:/opt/hdfs/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 3]

3.4 根据上面配置的server.x设定每个节点的zookeeper的id  
举例在node04节点

mkdir -p /var/hdfs/zk	(之前设置的dataDir)
    
    echo 3 > /var/hdfs/zk/myid && cat /var/hdfs/zk/myid	(node02为1,node03为2,node04为3)

![在这里插入图片描述][20190724212223616.png]

3.5 启动zookeeper  
在个节点输入命令

zkServer.sh start

并检查启动是否成功(需要关闭防火墙)

zkServer.sh status

![在这里插入图片描述][20190724212502437.png]

### 4 安装hadoop ###

4.1 环境变量

首先在四个节点创建安装目录/opt/hdfs

![在这里插入图片描述][20190724203502335.png]  
预先在四个节点修改环境变量  
在/etc/profile文件末尾加上(含java环境变量,按自己实际情况更改)

export JAVA_HOME=/usr/java/jdk1.7.0_67
    export HADOOP_PREFIX=/opt/hdfs/hadoop-2.6.5
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

使环境变量生效

source /etc/profile

![在这里插入图片描述][20190724195658453.png]

接下来只要在第一个节点完成hadoop的安装,再分发给其余三个节点即可

4.2 解压hadoop

将安装包文件上传至linux虚拟机(在环境背景中有资源链接)

解压,获得hadoop-2.6.5文件夹

![在这里插入图片描述][20190724195513145.png]  
将其移动至新建的/opt/hdfs目录  
![在这里插入图片描述][20190724203659355.png]

4.3 修改管理脚本

因为要远程执行hadoop的管理脚本,而远程执行时不会与先读取profile文件,即环境变量失效,解决办法为修改脚本中的命令为绝对路径查找  
进入/opt/hdfs/hadoop-2.6.5/etc/hadoop目录,逐个修改”env”后缀的文件

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 4]

[hadoop-env.sh][] 第25行  
![在这里插入图片描述][20190724200146674.png]  
改为  
![在这里插入图片描述][20190724200153339.png]  
[mapred-env.sh][] 第16行  
![在这里插入图片描述][2019072420023243.png]  
改为  
![在这里插入图片描述][20190724200242716.png]  
[yarn-env.sh][] 第26行  
![在这里插入图片描述][20190724200722765.png]  
改为  
![在这里插入图片描述][20190724200728275.png]  
4.4 修改配置文件  
仍然在/opt/hdfs/hadoop-2.6.5/etc/hadoop目录  
core-site.xml文件中做修改  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 5]  
修改内容

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://mycluster</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/var/hdfs/hadoop/ha</value>
        </property>
        <property>
           <name>ha.zookeeper.quorum</name>       
           <value>node02:2181,node03:2181,node04:2181</value>
        </property>
    
    </configuration>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 6]  
其中fs.defaultFS指定meNode的位置  
hadoop.tmp.dir位置的修改是出于安全性的考虑

继续修改hdfs-site.xml  
hadoop框架默认副本数为3,这里修改为2  
dfs.namenode.secondary.http-address设置SencondNameNode位置

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
        <property>
      <name>dfs.nameservices</name>
      <value>mycluster</value>
    </property>
    <property>
      <name>dfs.ha.namenodes.mycluster</name>
      <value>nn1,nn2</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn1</name>
      <value>node01:8020</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn2</name>
      <value>node02:8020</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.mycluster.nn1</name>
      <value>node01:50070</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.mycluster.nn2</name>
      <value>node02:50070</value>
    </property>
    <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
    </property>
    
    <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/var/hdfs/ha/jn</value>
    </property>
    
    
    <property>
      <name>dfs.client.failover.proxy.provider.mycluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>
    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_dsa</value>
    </property>
    <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
     </property>
    </configuration>

slaves文件  
slaves文件用于设定DataNode节点  
![在这里插入图片描述][20190724204032725.png]

4.5 分发hadoop

给其他节点做拷贝,输入命令

scp -r /opt/hdfs/hadoop-2.6.5/ node02:/opt/hdfs/
    scp -r /opt/hdfs/hadoop-2.6.5/ node03:/opt/hdfs/
    scp -r /opt/hdfs/hadoop-2.6.5/ node04:/opt/hdfs/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 7]

### 5 第一次启动 ###

5.1 先启动journalnode 分别在node01/02/03节点手动启动,输入

hadoop-daemon.sh start journalnode

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 8]

5.2 格式化namenode  
在node01节点输入

hdfs namenode -format

注意成功提示

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 9]

5.3 启动namenode  
在node01输入

hadoop-daemon.sh start namenode

在node02输入

hdfs namenode -bootstrapStandby

![在这里插入图片描述][20190724214852409.png]

5.4 格式化zookeeper  
在node01输入

hdfs zkfc -formatZK

注意是否格式化成功  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 10]  
可以从node04节点开启zookeeper客户端检测znode节点创建情况,在node04输入

zkCli.sh

![在这里插入图片描述][20190724215000870.png]

5.5 启动hdfs  
在node01输入

start-dfs.sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 11]

5.6 检查各节点角色运行状态  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 12]  
5.7 登录查看node01/02状态  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 13]

5.8 检测高可用性  
结束node01的namenode进程  
![在这里插入图片描述][20190724215147666.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 14]  
Node02上位成功

再重新启动node01的namenode

hadoop-daemon.sh start namenode

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 15]  
结束node02的zkfc  
![在这里插入图片描述][20190724215322275.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 16]  
node01光复成功

### 6 之后的启动和关闭 ###

启动

环境搭建完毕, 以后想要启动hdfs-ha只需要:  
1 启动zookeeper集群  
2 在node01输入命令

start-dfs.sh

关闭  
node01输入命令

stop-dfs.sh

[https_blog.csdn.net_a755199443_article_details_97158845]: https://blog.csdn.net/a755199443/article/details/97158845
[https_blog.csdn.net_a755199443_article_details_97163768]: https://blog.csdn.net/a755199443/article/details/97163768
[https_blog.csdn.net_a755199443_article_details_97273269]: https://blog.csdn.net/a755199443/article/details/97273269
[20190724205043280.png]: /images/20211122/2226c26ffcfe4ff98e78d4e1cdfcac22.png
[https_pan.baidu.com_s_1NHTCtqHbsuKztpruSRyB-A]: https://pan.baidu.com/s/1NHTCtqHbsuKztpruSRyB-A
[https_pan.baidu.com_s_1CNzFnVDqOst5JuHsh5K61g]: https://pan.baidu.com/s/1CNzFnVDqOst5JuHsh5K61g
[20190724203211127.png]: /images/20211122/717496dcc2ed42f2847f44c4d9c77616.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]: /images/20211122/bd58a47c4f1d4787aea5557d30e507fe.png
[20190724195428509.png]: /images/20211122/1290bd69d361402eaa41f39460ab208e.png
[20190724195448551.png]: /images/20211122/5d78bcbb35884dec878f71085af5b9ae.png
[20190724195500265.png]: /images/20211122/df3bbc3e4a234ebb841b5c2b808fb847.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 1]: /images/20211122/9986ff156ac24ff997bea6261a266beb.png
[20190724203422140.png]: /images/20211122/2b1f0bfe35f9408fa9b91f7c10dc2527.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 2]: /images/20211122/47120a72583f4aa28b8a513cd04c3d87.png
[20190724210036837.png]: /images/20211122/09bb8e32736040669ff41e1589b99813.png
[20190724210102711.png]: /images/20211122/b5a7b76828c44b42bd7617a23d5e179b.png
[2019072421013845.png]: /images/20211122/84186497196b41b8a8fd5560f719e486.png
[20190724210147171.png]: /images/20211122/4d09ba9b02df4db1b05b431760dee01e.png
[20190724211858493.png]: /images/20211122/44754bf48ee747c7ae9aa9a605607bff.png
[20190724212020482.png]: /images/20211122/f09e20400ebd48b6b4a3b4dc6e0c7536.png
[20190724212039775.png]: /images/20211122/88b63b33f8694824bf9e9e84aa076aaa.png
[20190724212046335.png]: /images/20211122/445882b83dc24c7fb7ed5e28b2cd16b1.png
[20190724212141722.png]: /images/20211122/dc9ce73b917244ec80c1430f8b678206.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 3]: /images/20211122/cffb87207f49479ab39f2d5558f65507.png
[20190724212223616.png]: /images/20211122/2d5dfa17247641a08ddd1884427d7184.png
[20190724212502437.png]: /images/20211122/0648fdbc49cc4082a09f7f8f8cd0a83a.png
[20190724203502335.png]: /images/20211122/925defd32f7a46ee91d1a12864911f7a.png
[20190724195658453.png]: /images/20211122/d47a1fda436141f0a67730c45c8e1edb.png
[20190724195513145.png]: /images/20211122/d7b6cca07647419da4b280ad86ee6fe9.png
[20190724203659355.png]: /images/20211122/632742613cd34abb8a1fe36ba53b73f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 4]: /images/20211122/5686b3124dca4b8d86c0973cc6e9206a.png
[hadoop-env.sh]: http://hadoop-env.sh
[20190724200146674.png]: /images/20211122/e8d205f786be46f6b229fd925590fb03.png
[20190724200153339.png]: /images/20211122/8543c3bf084646549221c371d53aa330.png
[mapred-env.sh]: http://mapred-env.sh
[2019072420023243.png]: /images/20211122/c3678d7c507e43c0a8a3765c47189551.png
[20190724200242716.png]: /images/20211122/7b175d2f86004887abc4b89081e2f986.png
[yarn-env.sh]: http://yarn-env.sh
[20190724200722765.png]: /images/20211122/1b86de94f537486cbf8154fdb86ba812.png
[20190724200728275.png]: /images/20211122/1416a2ebabff4388809484f466da2e99.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 5]: /images/20211122/757cd0184d794fde915a86cf5f6745f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 6]: /images/20211122/e29b127faa0e49079d2d40744bb8bb80.png
[20190724204032725.png]: /images/20211122/ea06100976b94cb6925da9e7a312d356.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 7]: /images/20211122/656c4f5c7ec140efadfdde6496d86268.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 8]: /images/20211122/b3c003f4f29a4dbfaa410f5d15a2327c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 9]: /images/20211122/828c874098bb4d699809e65b5fc5d434.png
[20190724214852409.png]: /images/20211122/1851674d33d449ee827a132c6053adcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 10]: /images/20211122/175eb506eb574f6b8a4d757d67fb10c7.png
[20190724215000870.png]: /images/20211122/90d9664a210b483db07b25c2afb88457.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 11]: /images/20211122/eab8937ec0e24a8487022799678c7978.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 12]: /images/20211122/9dde6ab67d5544e7bd4fa5294d9351a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 13]: /images/20211122/a858fd4333db4979b5579633fe4e0f8b.png
[20190724215147666.png]: /images/20211122/f41437d09cec4e579113262dde6eaaf0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 14]: /images/20211122/a28a5770ab1244b0b89db19f8ab2685e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 15]: /images/20211122/f6a134b3f9ca4540a169af39a019e220.png
[20190724215322275.png]: /images/20211122/60afd9d9a6aa4897b4e6a7a80a6e1080.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 16]: /images/20211122/2df2309709b749c08bd4025ea839cefd.png

发表评论取消回复

表情：

评论列表（有 0 条评论，236人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop+zookeeper+yarn搭建高可用完全分布式环境详细步骤

一、zookeeper集群的安装。（我亲自成功搭建过的一套集群，涉及到很多的细节，但是有的细节地方我不一定能完全写出，如果有遇到问题的可以留言）前提准备3台ce

Myth丶恋晨/ 2023年09月28日 20:39/ 0 赞/ 10 阅读

相关 hadoop基于zookeper自动高可用搭建

背景 1 机器规划 2 安装前准备 2.1 创建目录 2.2 设置免密登录 2.2.1设置主机名字

冷不防/ 2022年12月21日 09:27/ 0 赞/ 120 阅读

相关 hadoop高可用搭建

hdfs的NameNode节点用来保存元数据信息，一旦宕机，则集群不可恢复。因此需要高可用，在hadoop2.x以后，可以支持NameNode的高可用。hadoop3.

ゝ一世哀愁。/ 2022年05月30日 05:35/ 0 赞/ 227 阅读

相关 hadoop完全分布式搭建

hadoop的原理总结在写得中 [hadoop原理][hadoop] hadoop的伪分布式搭建比较容易，官方文档写得很清晰。这里

红太狼/ 2022年05月30日 01:44/ 0 赞/ 269 阅读

相关 Hadoop完全分布式搭建

![640?wx\_fmt=jpeg&wxfrom=5&wx\_lazy=1][640_wx_fmt_jpeg_wxfrom_5_wx_lazy_1] 一、介绍

水深无声/ 2022年05月26日 10:05/ 0 赞/ 319 阅读

相关 Hadoop——完全分布式搭建

本节目标：掌握Hadoop完全分布式搭建步骤将NN、SNN、DN节点安装到同一台机器上，此种配置方式为伪分布式。而完全分布式相对于伪分布式而言，是将NN、SNN、DN安

柔情只为你懂/ 2022年05月26日 00:47/ 0 赞/ 317 阅读

相关 Hadoop 2.8.5 完全分布式HA高可用安装（二）--环境搭建

文章目录概述集群规划安装ZK 安装验证安装配置Hadoop集群配置Hadoop环境变量

迈不过友情╰/ 2021年12月10日 15:07/ 0 赞/ 432 阅读

相关 [Hadoop]HDFS-HA高可用完全分布式搭建(基于hadoop-2.6.5的多NameNode形式)

相关链接: HDFS伪分布式搭建(基于hadoop-2.6.5的单NameNode形式) [https://blog.csdn.net/a755199443/artic

男娘i/ 2021年11月22日 10:56/ 0 赞/ 237 阅读

相关 [hadoop]HDFS完全分布式搭建(基于hadoop-2.6.5的单NameNode形式)

相关链接: HDFS伪分布式搭建(基于hadoop-2.6.5的单NameNode形式) https://blog.csdn.net/a755199443/articl

港控/mmm°/ 2021年11月22日 10:50/ 0 赞/ 211 阅读

相关 [Hadoop]HDFS伪分布式搭建(基于hadoop-2.6.5的单NameNode形式)

相关链接: HDFS完全分布式搭建(基于hadoop-2.6.5的单NameNode形式) https://blog.csdn.net/a755199443/artic

你的名字/ 2021年11月22日 10:31/ 0 赞/ 242 阅读