（2）虚拟机下hadoop1.1.2集群环境搭建

拼搏现实的明天。 2022-05-13 05:54 174阅读 0赞

hadoop集群环境的搭建和单机版的搭建差不多，就是多了一些文件的配置操作。

# 一、3台主机的hostname修改和IP地址绑定 #

**注意：下面的操作我都是使用root权限进行！**

## （1）3太主机的基本网络环境 ##

CentOS6.5,32位，在虚拟机下实现。

我在虚拟机下安装了3个centos6.5系统，其IP地址和主机名分别如下：

192.168.1.103 hadoop

192.168.1.105 hadoop0

192.168.1.106 hadoop1

![20140807133522925][]

这里，hadoop是master，hadoop0和hadoop1是两个slaves。

## （2）IP地址与hostname绑定 ##

在hadoop主机下：

vi /etc/sysconfig/network

将HOSTNAME修改为hadoop，见下图：

![20140807144856328][]

![Image 1][]  
在hadoop0主机下操作类似，将HOSTNAME修改为hadoop0；在hadoop1主机下操作类似，将HOSTNAME修改为hadoop1。

在hadoop主机下：

输入：vi /etc/hosts，在hosts下添加如下内容：

192.168.1.103  hadoop
    192.168.1.105  hadoop0
    192.168.1.106  hadoop1

然后通过scp命令，将修改好的hosts复制到hadoop0和hadoop1的/etc/hosts文件夹下覆盖：

scp  /etc/hosts  root@hadoop0:/etc/hosts
    scp  /etc/hosts  root@hadoop1:/etc/hosts

## （3）测试3太主机之间是否能Ping通 ##

在3台主机下分别输入：

ping hadoop
    ping hadoop0
    ping hadoop1

如果3太主机都能ping通，那说明前面的配置成功。

# 二、SSH免密码登陆 #

在hadoop主机下：

1.查看当前用户下(root)是否有.ssh的隐藏文件，如果没有就创建一个

mkdir .ssh

2.输入ssh-keygen -t rsa

这个命令会在.ssh文件夹下生成id\_dsa和id\_ds.pub两个文件，这私钥和公钥。

3.输入

cp id_rsa.pub authorized_keys

这条命令是把公钥加到用于认证的公钥文件中

4.验证SSH是否安装成功，以及是否可以免密码登陆本机

ssh localhost

如果显示如下，表示安装成功

![20140805224554620][]

5.将authorized\_keys复制到hadoop0和hadoop1下的.ssh文件，这样就可以免密码登陆hadoop0和hadoop1了。

scp authorized_keys root@hadoop0:.ssh/
    scp authorized_keys root@hadoop1:.ssh/

6.测试

在hadoop主机下输入：

ssh hadoop0
    ssh hadoop1

在第一次登陆是需要密码，以后则不要。到此，ssh的免密码登陆完成。

# 三、jdk的安装和java环境变量配置 #

## （1）安装jdk1.6 ##

这里，我使用的jdk安装包如下，大家可以上网自行下载，这里推荐jdk为1.6为好。

在hadoop下：

![20140805201559504][]

将jdk安装包移动到/usr/local这个目录下，（local下的文件可以删除，没有用的）。

然后首先是给jdk安装包“X”的执行权限，chmod u+x jdk-6u24-linux-i586.bin。（如有x权限请忽略这一步）

然后就是执行安装即可，jdk-6u24-linux-i586.bin。

然后将/usr/local下jdk的文件夹从命名为jdk。然后通过scp命令将jdk文件夹复制到另外两个slaves主机。

scp -r /etc/local/jdk root@hadoop0:/etc/local
    scp -r /etc/local/jdk root@hadoop1:/etc/local

## （2）设置环境变量 ##

接下来就是配置环境变量：

vi /etc/profile

export JAVA_HOME=/usr/local/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH

输入 source /etc/profile使配置文件生效。

检查jdk是否安装配置成功，java -version，若显示如下，表示安装成功。

![20140805202123250][]

同样，将profile复制到另外两台主机。

scp /etc/profile root@hadoop0:/etc/
    scp /etc/profile root@hadoop1:/etc/

在hadoop0和hadoop1下检查是否安装jdk成功。注意请先使用source /etc/profile更新命令。

如果现实如上图，则表示3台主机的jdk安装和配置成功。

##     ##

# 四、安装和配置hadoop #

## （1）解压安装hadoop1.1.2 ##

在hadoop主机下：

下载并将hadoop-1.1.2.tar.gz解压到当前用户目录下（/usr/local）。

tar -zxvf   hadoop-1.1.2.tar.gz

然后将hadoop文件夹重命名为hadoop。

## （2）配置hadoop ##

在hadoop主机下：

进入hadoop文件夹下的conf夹，修改配置文件。

1.指定jdk安装位置：

**Hadoop-env.sh:**

export JAVA\_HOME=/usr/local/jdk

2.hadoop核心配置文件，配置HDFS地址和段口号。

**core-site.xml**

<configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://hadoop:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
        </property>
    </configuration>

3.hdfs-site.xml，默认的配置方式是3，这里表示副本数是3，由于我们搭建的子节点只有2个，所以输入1或2。

**hdfs-site.xml**

<configuration>
            <property>
                     <name>dfs.replication</name>
                     <value>2</value>
             </property>
    </configuration>

4.配置MapReduce文件，配置JobTracker的地址和端口

**mapred-site.xml**

<configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>hadoop:9001</value>
    </property>
    </configuration>

5‘修改masters文件

hadoop

6.修改slaves文件

hadoop0
    hadoop1

然后将hadoop文件夹复制到另外2台主机。

scp /uer/local/hadoop root@hadoop0:/etc/local/
    scp /uer/local/hadoop root@hadoop1:/etc/local/

接下来要修改环境变量：

vi /etc/profile

export JAVA_HOME=/usr/local/jdk
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

同样，将profile复制到另外两台主机上，操作见三（2）。

## （3）启动hadoop ##

在hadoop下：

输入:

hadoop namenode -format

然后通过start-all.sh启动所有进程：

start-all.sh

可以通过jps命令来查看运行的进程，如果成功运行，那么将会有5个进程运行，如下图：  
在hadoop 下：

![20140807144527718][]

![Image 1][]

在hadoop0下：

![20140807144545812][]

![Image 1][]

在hadoop1下：

![Image 1][]![20140807144819372][]

至此，hadoop启动成功，要想看集群状态，可以打开下面两个网址：

localhost:50030（mapreduce的web页面）

localhost:50070（HDFS的web页面）

如果想在windows下访问这两个网址，那么就需要关闭centos的防火墙，否则访问不了。（3台主机都要关闭防火墙）

命令：service iptables stop

使用:chkconfig iptables off，可以关闭防火墙的自动运行

![Image 1][]

![20140807144653213][]

![20140807144712479][]

备注：我也是刚起步学习hadoop，可能文章有一些不完整或错误的地方，还请大家多多指教，也希望能交流学习，互相促进提高。![微笑][smile.gif]

[20140807133522925]: /images/20220513/6f3fc2f2b41a40f9bbc9336fd732bfe3.png
[20140807144856328]: /images/20220513/9f42f90687454ee6ab525e8488f5b2b2.png
[Image 1]: 
[20140805224554620]: /images/20220513/ed95e7e757b245a08671ba5e8123b4d7.png
[20140805201559504]: /images/20220513/df82f651f67844c8882bf7d7431575b5.png
[20140805202123250]: /images/20220513/79cabd3e388c4c90a9d49c71c6874976.png
[20140807144527718]: /images/20220513/9b5391c287e146a198ab2917fcf10506.png
[20140807144545812]: /images/20220513/a284695b5af941759059c382dbc148e7.png
[20140807144819372]: /images/20220513/57eb84f374444722aa5e88a051c216ad.png
[20140807144653213]: /images/20220513/480d8f5b3b7b42a78ac4af668c5aa188.png
[20140807144712479]: /images/20220513/0ab7c582f06744f79c68d2a2e4a7ba4e.png
[smile.gif]: /images/20220513/c15ba69807ea43c2a19d19522eb572ee.png