安装hadoop1.2.1集群环境

悠悠 2022-07-16 05:50 377阅读 0赞

**一、规划**

1、硬件资源

ip6:centos-node6
    ip7:centos-node7
    ip8:centos-node8

2、基本资料

创建目录
    
    /home/hadoop1.2.1

**二、环境配置**

1、修改/etc/hosts

ip6:centos-node6
    ip7:centos-node7
    ip8:centos-node8

2、免密码登录

生成私钥【3台机器上均要执行】

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

生成免密码登陆文件【3台机器上均要执行】

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

然后，将id_dsa.pub拷贝到 centos-node7，centos-node8
    的~/root/目录下

scp ~/.ssh/id_dsa.pub root@centos-node7:~/root  
    scp ~/.ssh/id_dsa.pub root@centos-node8:~/root

将id_dsa.pub重写到 authorized_keys 在当前/root/目录下执行命令：

cat id_dsa.pub >> ~/.ssh/authorized_keys

测试登陆 ssh centos-node7,centos-node8

**三、hadoop配置**

1、下载hadoop-1.2.1.tar.gz，并将其解压到/home/hadoop1.1.2下

修改conf/hadoop_env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

修改core-site.xml

//NameNode访问路径
    <property>  
     <name>fs.default.name</name>  
     <value>hdfs://centos-node6:9000</value>  
    </property>  
    
    //工作目录   
    <property>  
     <name>hadoop.tmp.dir</name>  
     <value>/opt/tmp/hadoop</value>  
    </property>

修改hdfs-site.xml

//DataNode节点数
    <property>  
     <name>dfs.replication</name>  
     <value>2</value>  
    </property>
    
    //工作目录权限
    <property>
     <name>dfs.permissions</name>
     <value>false</value>
    </property>

修改mapred-site.xml

<property>  
     <name>mapred.job.tracker</name>  
     <value>master:9001</value>  
    </property>

修改master及slaves

//配置SecondaryNameNode
    master:  
    centos-node7
    
    //配置DataNode
    slaves:  
    centos-node7  
    centos-node8

解压hadoop-1.2.1.tar.gz，到centos-node7与centos-node8中，在centos-node6中，把hadoop-1.2.1/conf/配置完成所有文件,拷贝到到centos-node7与centos-node8中hadoop-1.2.1/conf/中，hadoop-1.1.2/conf/当前目录下 执行命令：

scp ./* root@centos-node7:/usr/local/hadoop-1.1.2/conf/

**四、启动并验证**

格式 化namenode【此步骤在centos-node6台机器运行】

1、/home/hadoop1.2.1/bin/~ ./hadoop nodename -format

2、启动hadoop【此步骤只需要在centos-node6上执行】

3、/home/hadoop1.2.1/bin/~ start-all.sh

4、查看各个主机的java进程

在centos-node6上执行命令：jps

![这里写图片描述][SouthEast]

在centos-node7上执行命令：jps

![这里写图片描述][SouthEast 1]

在centos-node8上执行命令：jps

![这里写图片描述][SouthEast 2]

5、登录页面验证

NameNode    http://centos-node6:50070 
    //JobTracker http://centos-node6:50030

![这里写图片描述][SouthEast 3]

hadoop1.2.1集群环境 配置完成。

**五、MapReduce的架构配置**

MapReduce的架构，一主多从架构

主JobTracker:  
负责调度分配每一个任务task运行于TaskTracker上，如果发现有失败的task就重新分配其任务到其它节点，每一个hadoop  
集群中只有一个JobTracker，一般它运行在Master节点上，  
从TaskTracker：  
TaskTracker主动与JobTracker通信，接受作业，并负责执行每一个任务，为了减少网络宽带TaskTracker最好运行在HDFS的DataNode上

1、修改conf/mapred-site.xml

<configuration>
         <property>
             <name>mapred.job.tracker</name>
             <value>centos-node6:9001</value>
         </property>
    </configuration>

拷贝mapred-site.xml 到centos-node7与centos-node8上的hadoo/conf 目录下，是配置文件保持一致

2、启动hadoop

./start-all.sh

![这里写图片描述][SouthEast 4]

3、MapReduce Web客户端页面验证

http://centos-node6:50030

![这里写图片描述][SouthEast 5]

MapReduce的架构配置

[SouthEast]: /images/20220716/18d206f23416466e9616dbefb643ea69.png
[SouthEast 1]: /images/20220716/ed1db789e19f4375b8155b1a022ff16c.png
[SouthEast 2]: /images/20220716/f056706a475744ab996b4733462b1047.png
[SouthEast 3]: /images/20220716/85e6871cf8bb47c1b9b43afc065763eb.png
[SouthEast 4]: /images/20220716/902e6137f7494a66af51fdac2b2cadc1.png
[SouthEast 5]: /images/20220716/d46a3868cc3747ec96e96651d59cd72b.png