[hadoop]HDFS完全分布式搭建(基于hadoop-2.6.5的单NameNode形式)

港控/mmm° 2021-11-22 10:50 210阅读 0赞

相关链接:  
HDFS伪分布式搭建(基于hadoop-2.6.5的单NameNode形式)  
https://blog.csdn.net/a755199443/article/details/97158845

HDFS-HA高可用完全分布式搭建(基于hadoop-2.6.5的多NameNode形式)  
https://blog.csdn.net/a755199443/article/details/97165985

hadoop-yarn环境搭建(基于hadoop-2.6.5) 2019年07月25日 19:22:16  
https://blog.csdn.net/a755199443/article/details/97273269

### HDFS完全分布式搭建 ###

环境背景

1 修改hosts文件

2 免密钥登录

3 安装hadoop

### 环境背景 ###

完全分布式即NameNode和DataNode等部署在不同的节点上  
**各节点的系统时间需要同步**, 各节点预先安装好jdk1.7 因为多节点有相同操作,使用xshell的同步命令能简化步骤  
使用的各节点操作系统为CentOS\_6.5  
共四个节点node01,node02,node03,node04,ip分别为  
node01 192.168.110.101  
node02 192.168.110.102  
node03 192.168.110.103  
node04 192.168.110.104  
将以node01作为NameNode,node02作为SecondNameNode  
node02,node03,node04作为DataNode  
登录用户为root

**选择node01为管理节点,若没有特殊说明,默认操作的都是node01节点**

hadoop-2.6.5资源链接:  
链接：https://pan.baidu.com/s/1NHTCtqHbsuKztpruSRyB-A  
提取码：j0sg

### 1 修改hosts文件 ###

在每个节点的hosts文件末尾加上节点地址

192.168.110.101 node01
    192.168.110.102 node02
    192.168.110.103 node03
    192.168.110.104 node04

vim /etc/hosts

![在这里插入图片描述][20190724203211127.png]

### 2 免密钥登录 ###

为了使用hadoop的管理脚本控制所有节点,要使node01 (任选的一个节点) 获得其他节点的免密钥登录权限  
node01输入命令  
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id\_dsa  
在/root目录生成.ssh目录

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]  
进入.ssh目录,其中有密钥id\_dsa和公钥id\_dsa.pub  
![在这里插入图片描述][20190724195428509.png]  
把公钥放到访问方的认证文件里即可获得免密钥登陆权限  
cat ~/.ssh/id\_dsa.pub >> ~/.ssh/authorized\_keys  
原本需要密码  
![在这里插入图片描述][20190724195448551.png]  
完成免密钥登录后不需要密码  
![在这里插入图片描述][20190724195500265.png]

接下来做其他节点的免密钥登录  
先在每个节点做一遍以下操作  
① ssh root@localhost  
② 输入密码  
③ exit

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 1]

将node01的公钥复制给其他三个节点,分别使用命令(此时还需要输入其他节点的登陆密码)

scp id_dsa.pub  root@node02:/root/.ssh/node01.pub
    scp id_dsa.pub  root@node03:/root/.ssh/node01.pub
    scp id_dsa.pub  root@node04:/root/.ssh/node01.pub

在其他三个节点的/root/.ssh目录创建认证文件

cat node01.pub >>authorized_keys

成功免密登录

![在这里插入图片描述][20190724203422140.png]

### 3 安装hadoop ###

首先在四个节点创建安装目录/opt/hdfs

![在这里插入图片描述][20190724203502335.png]  
预先在四个节点修改环境变量  
在/etc/profile文件末尾加上(含java环境变量,按自己实际情况更改)

export JAVA_HOME=/usr/java/jdk1.7.0_67
    export HADOOP_PREFIX=/opt/hdfs/hadoop-2.6.5
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

使环境变量生效

source /etc/profile

![在这里插入图片描述][20190724195658453.png]

接下来只要在第一个节点完成hadoop的安装,再分发给其余三个节点即可

3.1 解压hadoop

将安装包文件上传至节点(在环境背景中有资源链接)

解压,获得hadoop-2.6.5文件夹

![在这里插入图片描述][20190724195513145.png]  
将其移动至新建的/opt/hdfs目录  
![在这里插入图片描述][20190724203659355.png]

3.2 修改管理脚本

因为要远程执行hadoop的管理脚本,而远程执行时不会与先读取profile文件,即环境变量失效,解决办法为修改脚本中的命令为绝对路径查找  
进入/opt/hdfs/hadoop-2.6.5/etc/hadoop目录,逐个修改”env”后缀的文件

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 2]

hadoop-env.sh 第25行  
![在这里插入图片描述][20190724200146674.png]  
改为  
![在这里插入图片描述][20190724200153339.png]  
mapred-env.sh 第16行  
![在这里插入图片描述][2019072420023243.png]  
改为  
![在这里插入图片描述][20190724200242716.png]  
yarn-env.sh 第26行  
![在这里插入图片描述][20190724200722765.png]  
改为  
![在这里插入图片描述][20190724200728275.png]  
3.3 修改配置文件  
仍然在/opt/hdfs/hadoop-2.6.5/etc/hadoop目录  
core-site.xml文件中做修改  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 3]

## 注意此步开始与伪分布式环境开始不同 ##

在configuration标签中加上

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hdfs/hadoop/full</value>
    </property>

![在这里插入图片描述][2019072420400652.png]  
其中fs.defaultFS指定meNode的位置  
hadoop.tmp.dir位置的修改是出于安全性的考虑

继续修改hdfs-site.xml  
hadoop框架默认副本数为3,这里修改为2  
dfs.namenode.secondary.http-address设置SencondNameNode位置

<property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>node02:50090</value>
        </property>

![在这里插入图片描述][20190724204025965.png]  
slaves文件  
slaves文件用于设定DataNode节点  
![在这里插入图片描述][20190724204032725.png]

3.4 分发hadoop

给其他节点做拷贝,输入命令

scp -r /opt/hdfs/hadoop-2.6.5/ node02:/opt/hdfs/
    scp -r /opt/hdfs/hadoop-2.6.5/ node03:/opt/hdfs/
    scp -r /opt/hdfs/hadoop-2.6.5/ node04:/opt/hdfs/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 4]

3.5 开始格式化

hdfs namenode -format

注意成功提示  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 5]

3.6 启动各角色

start-dfs.sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 6]

3.7 检测是否成功  
在windows上检测完全分布式hdfs是否搭建成功  
打开浏览器输入网址http://192.168.110.101:50070(预先关闭linux的防火墙或者开放端口)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][20190724204453191.png]  
![在这里插入图片描述][20190724204456849.png]  
3.7 关闭hdfs

输入命令

stop-dfs.sh

![在这里插入图片描述][20190724204506198.png]

[20190724203211127.png]: /images/20211122/cd1b27cd7ad849db9d34b42a7d7f4949.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]: /images/20211122/d36024fe3e394e4b92b02b7a369f9fe0.png
[20190724195428509.png]: /images/20211122/17c51dbb3a5a4290addc9a3de1fc5fe4.png
[20190724195448551.png]: /images/20211122/c51a9a98039f42cf945436be9e5ae10d.png
[20190724195500265.png]: /images/20211122/790dd21f908447b4ba60af35a5c09f0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 1]: /images/20211122/ac8d2ba29edc4b688556447e436f9f4d.png
[20190724203422140.png]: /images/20211122/f4d54867ff3a4326ba6dbfed6a1bbe3e.png
[20190724203502335.png]: /images/20211122/7fbde6ab51fd440eb80b3d36311c9589.png
[20190724195658453.png]: /images/20211122/61214d06710b42d385c70b9efa2b2af7.png
[20190724195513145.png]: /images/20211122/5766e330e3334e61b8add8e449a492bc.png
[20190724203659355.png]: /images/20211122/4449c72c7cc6464a8337fa69aa2f8123.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 2]: /images/20211122/8df687917a6d4d81831c279df794f044.png
[20190724200146674.png]: /images/20211122/7c044a47ff21418cb4b959d6479017eb.png
[20190724200153339.png]: /images/20211122/9115e8bac929442082d9e90ec8ff7ca8.png
[2019072420023243.png]: /images/20211122/055a9d1e230b4cebaca8d4c5faafa7a8.png
[20190724200242716.png]: /images/20211122/56b3ba6a51e148818af30834ca2116c6.png
[20190724200722765.png]: /images/20211122/734f2ebe43b544f6b3b322d2b2a8f96a.png
[20190724200728275.png]: /images/20211122/04e1f6b6f94b44f29a4346126c01f531.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 3]: /images/20211122/e548ba9210e14d37b4ef1ba5a1fba510.png
[2019072420400652.png]: /images/20211122/235622aecee643d0b8651e2fa6c69557.png
[20190724204025965.png]: /images/20211122/838d15be0bb84da39e3fa3d7c5229b59.png
[20190724204032725.png]: /images/20211122/b3da8eb39e4f421380ccb2086a667498.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 4]: /images/20211122/52371dc5075d499ba880b957983d0cd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 5]: /images/20211122/e0f218cdee844c5e9198b372001f8f19.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 6]: /images/20211122/ffd0cc4cc5af400ba50cb16f656b40ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 7]: /images/20211122/aacfc9ab74854de4af91e767ce180351.png
[20190724204453191.png]: /images/20211122/95c84bae432442f980306d282d408e35.png
[20190724204456849.png]: /images/20211122/23855e77079e4444a9b426b6c0dd45ef.png
[20190724204506198.png]: /images/20211122/0ad7b3eb94c24759b43060ba20819a92.png