hadoop-1.2.1添加节点的方法

﹏ヽ暗。殇╰゛Y 2022-08-02 12:44 173阅读 0赞

本帖介绍如何在已存在的集群环境增加节点，增加节点的大部分步骤都和安装步骤一样，在看本教程时需要结合[hadoop-1.2.1安装方法详解][hadoop-1.2.1]一起进行，否则不易弄明白，hadoop-1.2.1集群安装方法参考 [hadoop-1.2.1安装方法详解][hadoop-1.2.1]  
  
添加节点的步骤如下:  
1、安装VMware软件，然后在VMware里安装三台Linux虚拟机(我使用的是redhat)  
  
2、设置虚拟机

<table style="word-wrap:break-word; empty-cells:show; border-collapse:collapse; border:1px solid rgb(227,237,245); table-layout:auto; width:377px; color:rgb(68,68,68); font-family:Tahoma,'Microsoft Yahei',Simsun; font-size:14px; line-height:21px"> 
 <tbody style="word-wrap:break-word"> 
  <tr style="word-wrap:break-word"> 
   <td style="word-wrap:break-word; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:break-word">
      主机名 
    </div> </td> 
   <td style="word-wrap:break-word; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:break-word">
      ip 
    </div> </td> 
   <td style="word-wrap:break-word; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:break-word">
      内存 
    </div> </td> 
   <td style="word-wrap:break-word; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:break-word">
      硬盘 
    </div> </td> 
  </tr> 
  <tr style="word-wrap:break-word"> 
   <td style="word-wrap:break-word; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:break-word">
      slave3 
    </div> </td> 
   <td style="word-wrap:break-word; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:break-word">
      192.168.10.203 
    </div> </td> 
   <td style="word-wrap:break-word; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:break-word">
      500M 
    </div> </td> 
   <td style="word-wrap:break-word; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:break-word">
      8G 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

3、关闭防火墙(slave3节点)(学习时可以直接关闭，正式环境是通过开放端口)  
service iptables stop  停止防火墙服务，重启电脑后仍然会开启  
chkconfig iptables off  关闭防火墙服务开机启动，重启后生效  
可以两个命令结合使用避免重启  
  
4、关闭SELINUX(slave3节点)  
修改/etc/selinux/config 中的SELINUX="" 为 disabled   
  
5、修改hosts文件(四台主机)  
在hosts文件中添加或修改一下内容  
192.168.10.200 master  
192.168.10.201 slave1  
192.168.10.202 slave2  
192.168.10.203 slave3  
  
根据 [hadoop-1.2.1安装方法详解][hadoop-1.2.1] 里的方式，我这里仍旧按下面的方式添加修改  
192.168.10.200 mdw master  
192.168.10.201 sdw1 slave1  
192.168.10.202 sdw2 slave2  
192.168.10.203 sdw3 slave3  
  
6、安装java环境(slave3节点)  
上传jdk文件并授权之后，执行安装配置  
\[root@sdw3 temp\]\# . /jdk-6u45-linux-i586-rpm.bin  
  
验证jdk安装  
\[root@sdw3 temp\]\# java -version  
java version "1.6.0\_45"  
Java(TM) SE Runtime Environment (build 1.6.0\_45-b06）  
Java HotSpot(TM) Client VM (build 20.45-b01, mixed mode, sharing)  
  
7、创建hadoop用户，并设置密码(slave3节点)  
\[root@sdw3 temp\]\# useradd hadoop  
\[root@sdw3 temp\]\# passwd hadoop  
  
8、设置无密码登录，方法参考  [hadoop-1.2.1安装方法详解][hadoop-1.2.1]  中的步骤6，设置好之后4台主机间便可以互相无密码登录  
  
9、修改master节点的slaves配置文件，增加slave3，并将slaves发送到slave1和slave2节点  
修改/home/hadoop/hadoop-1.2.1/conf/slaves文件，内容改为：  
slave1  
slave2  
  
slave3  
发送到slave1节点和slave2节点  
\[hadoop@mdw ~\]$  scp hadoop-1.2.1/conf/slaves slave1:~/hadoop-1.2.1/conf/  
\[hadoop@mdw ~\]$  scp hadoop-1.2.1/conf/slaves slave2:~/hadoop-1.2.1/conf/  
  
注：这里可以不用发送而直接在slave1和slave2上修改  
  
10、将在Master节点上配置好的hadoop目录复制到slave3  
\[hadoop@mdw ~\]$  scp hadoop-1.2.1/ slave3:~  
  
11、配置环境变量  
将master节点的 .bashrc文件发送到slave3节点,并使之生效  
  
12、创建/data/hadoop目录，并且将所属用户改为hadoop(slave3节点)  
  
13、启动datanode和tasktracker进程(slave3节点)  
\[hadoop@sdw3 ~\]$  hadoop-daemon.sh start datanode  
starting datanode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-sdw3.out  
  
\[hadoop@sdw3 ~\]$  hadoop-daemon.sh  start tasktracker  
starting tasktracker, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-sdw3.out  
\[hadoop@sdw3 ~\]$  jps  
5230 DataNode  
5433 Jps  
5348 TaskTracker  
  
  
通过jps命令可以看到datanode进程和tasktracker进程已成功启动  
  
14、在master节点上运行start-balancer.sh进行数据负载均衡  
\[hadoop@mdw ~\]$  start-balancer.sh   
starting balancer, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-balancer-mdw.out  
Time Stamp               Iteration\#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved  
The cluster is balanced. Exiting...  
  
  
到此slave3节点已成功添加到hadoop集群之中

[hadoop-1.2.1]: http://blog.csdn.net/gnail_oug/article/details/46957955

发表评论取消回复

表情：

评论列表（有 0 条评论，173人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop：添加新节点

添加新节点 1.在hadoop102进行克隆 2.修改ip地址，修改hostname （要在hosts中存在hadoop105）改ip地址： sudo v

曾经终败给现在/ 2024年03月17日 20:48/ 0 赞/ 93 阅读

相关 hadoop正确地添加和移除节点

添加节点克隆克隆一台全新的Linux（如有IP冲突，可右击VMware右下角网络图标断开连接）打开/etc/hostname修改主机名打开/etc/sy

素颜马尾好姑娘i/ 2023年06月29日 05:39/ 0 赞/ 29 阅读

相关 WebAPI-创建、添加节点方法汇总

创建节点的方法 createElement() `document.createElement(nodeName)` 通过指定的元素名称创建对应的元素并返回，该方法

谁借莪１个温暖的怀抱￠/ 2023年06月13日 09:43/ 0 赞/ 20 阅读

相关 Hadoop2.7.0学习——动态添加节点

Hadoop2.7.0学习——动态添加节点前提已经搭建好了master机器以及一个节点hadoop-node1 现在我们要在此基础上添加一个节点hadoop

￡神魔★判官ぃ/ 2022年09月25日 01:23/ 0 赞/ 153 阅读

相关 Ambari安装Hadoop及添加节点

1.Ambari添加节点：Hosts->Action->Add New Hosts 2.在已有节点及Ambari server上添加节点IP及hostname对应关系，相当于

蔚落/ 2022年08月21日 00:19/ 0 赞/ 283 阅读

相关 hadoop中secondarynamenode节点添加方法

当时，hadoop已经安装成功，但是secondarynamenode没有启动后来经过研究，原来是配置的目录有问题首先修改一下shell文件文件路径：/home/w

超、凢脫俗/ 2022年08月06日 01:29/ 0 赞/ 223 阅读

相关 hadoop-1.2.1添加节点的方法

本帖介绍如何在已存在的集群环境增加节点，增加节点的大部分步骤都和安装步骤一样，在看本教程时需要结合[hadoop-1.2.1安装方法详解][hadoop-1.2.1]一起进行，

﹏ヽ暗。殇╰゛Y/ 2022年08月02日 12:44/ 0 赞/ 174 阅读

相关 (4)Hadoop 添加和删除数据节点

添加节点 A：新节点中添加账户，设置无密码登陆 B：Name节点中设置到新节点的无密码登陆 C：在Name节点slaves文件中添加新节点 D：在所有节点/etc/ho

谁践踏了优雅/ 2022年07月11日 16:55/ 0 赞/ 231 阅读

相关 Hadoop添加新的节点

1.修改host 1) 新的slave的ip添加到master/etc/hosts中 2) 新的slave的ip添加到slaves的/etc/hosts中

ゝ一纸荒年。/ 2022年05月27日 09:35/ 0 赞/ 237 阅读

相关 Hadoop添加删除节点

添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves

- 日理万妓/ 2022年02月14日 04:02/ 0 赞/ 342 阅读