Hadoop 2.2.0测试环境搭建

浅浅的花香味﹌ 2022-08-26 03:55 251阅读 0赞

引言： 基于64位的Ubuntu系统，利用VirtualBox建立两个节点，搭建Hadoop 2.2.0的测试开发环境。

1. 准备2台虚拟机,Hadoop2-V1, Hadoop2-V2.  VirtualBox:  Ubuntu Server Edition 13.10.

![SouthEast][]

2.  下载hadoop-2.2.x的稳定版本以及源代码，以备自行编译之用。Apache Url: http://mirrors.cnnic.cn/apache/hadoop/common/。将源代码下载下来，这里我们将自行编译然后build自己的版本。

![SouthEast 1][]

3.  根据操作系统的版本，选择JDK版本，这里选择64位的x86版本。JDK URL: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

![SouthEast 2][]

4.  安装jdk，并设置环境变量，将Java设置到系统Profile中。

解压下载jdk的tar.gz结尾的文件。

![SouthEast 3][]

设置环境变量。

![SouthEast 4][]

5.  在节点之间，搭建无密钥的ssh登录机制。首先生成当前用户的公钥/私钥。

![SouthEast 5][]

然后，就可以在~/.ssh/目录下看到生成的私钥和公钥文件，公钥文件以pub后缀结尾： id\_rsa(私钥)，id\_rsa.pub(公钥).

6. 创建authorized\_keys文件，将其他节点的公钥复制到这个文件中。并复制到不同的节点上，并验证是否可以无密钥登录.

Linux命令: sudo  vim ~/.ssh/authorized\_keys

![SouthEast 6][]

将此文件复制到其他的集群节点上去

![SouthEast 7][]

这里的复制使用了主机名，而非ip地址。

7. 设置机器的主机名.   Linux命令：sudo vim /etc/hostname

![SouthEast 8][]

8.建立主机名和IP地址之间的映射，Linux命令：sudo vim /etc/hosts

![SouthEast 9][]

9. 解压hadoop-2.2.0-src.tar.gz，以备自行编译hadoop。

Linux命令： tar xvfz hadoop-2.2.0-src.tar.gz

10.  安装预先的依赖包 zlib1g ， zlib1g-dev ， openssl. ncurses。由于 Ubuntu 系统和其他 Linux 有所不同，所要安装的包名也会因Linux版本而略有不同。

sudo apt-get install zlib1g   
    sudo apt-get install zlib1g-dev
    sudo apt-get install openssl
    sudo apt-get install libssl-dev
    sudo apt-get install libncurses5-dev

11.安装依赖包： protobuf, 这是一种 Hadoop 使用的一种底层通信协议 。在这里我们自行编译和安装。

下载: http://code.google.com/p/protobuf/downloads/detail?namet=protobuf-2.5.0.tar.gz&can=2&q=

tar xvfz protobuf-2.5.0.tar.gz   ----- 解压源代码文件
    cd protobuf-2.5.0
    ./configure
    sudo make install     ----注意:这里需要是sudo管理员的权限

之后，protobuf就被正常安装成功了。

12. 检查mvn是否已被安装， 直接在命令行： mvn -version，如果没有则会提示命令不存在或者不支持。

sudo apt-get install maven

13. 进入Hadoop-2.2.0-src的源代码目录,运行一下命令:

mvn package -Pdist,native -DskipTests -Dtar

![SouthEast 10][]

编译生成的结果复制到相应的目录，就是Hadoop的安装目录。  编译结果位置： hadoop-dist/target/hadoop-2.2.0.

14.修改hadoop-env.sh,设置JAVA\_HOME.

![SouthEast 11][]

15.修改yarn-env.sh,设置JAVA\_HOME

![SouthEast 12][]

16.修改hadoop的core-site.xml

![SouthEast 13][]

17.修改hadoop的hdfs-site.xml

![SouthEast 14][]

18.修改hadoop的mapred-site.xml

![SouthEast 15][]

19.yarn-site.xml的修改内容:

![SouthEast 16][]

20.修改hadoop的slaves, 添加slaves

![SouthEast 17][]

21.将hadoop向各个节点分发包

![SouthEast 18][]

22. 格式化namenode,  进入hadoop-2.20, 运行命令：./bin/hdfs namenode -format

23.  启动hadoop的dfs

![SouthEast 19][]

24.启动Hadoop的yarn

![SouthEast 20][]

25.基于jps查看进程, 查看namenode的进程

![SouthEast 21][]

26. 基于jps查看进程，查看datanode的进程

![SouthEast 22][]

说明：

1. 通过jps来查看节点的进程数，确认是否都已经启动

2. 上述步骤经过Ubuntu环境的验证，主要是在编译hadoop源代码之时，对不同的类库依赖性。

3.  集群需要使用ssh无密钥的登录方式。

[SouthEast]: /images/20220824/fe5f931f0fda450aa3435431ce8f965f.png
[SouthEast 1]: /images/20220824/802eab3bae134fc6a41896507fa4efb5.png
[SouthEast 2]: /images/20220824/121400d68edd4ffeb816919dc2ad6dcf.png
[SouthEast 3]: /images/20220824/66dd838c3b88415c93ac71d6cfeee183.png
[SouthEast 4]: /images/20220824/5c6a142574e14868aa5b90a98df6fb40.png
[SouthEast 5]: /images/20220824/80587ad91a324dba8ee27b51d31bae4b.png
[SouthEast 6]: /images/20220824/8e5a1198a0524b8eb736423c535a816d.png
[SouthEast 7]: /images/20220824/486a8b8d270746e69bdaf200225e1f80.png
[SouthEast 8]: /images/20220824/a76dd184a91a4f77b7842e9f23d1c4e7.png
[SouthEast 9]: /images/20220824/4f5e07248c484d87ab1383e86c6c833d.png
[SouthEast 10]: /images/20220824/8517a662701e4195b6f08e0b28c317ec.png
[SouthEast 11]: /images/20220824/881dda235d5f4102aa8f2a7c95ff4451.png
[SouthEast 12]: /images/20220824/4de8039e6fb945adbe3081bedce01d07.png
[SouthEast 13]: /images/20220824/4e748eb6252742acb7120cbc81390f8f.png
[SouthEast 14]: /images/20220824/c462ca141e3a490389ea888e28515c23.png
[SouthEast 15]: /images/20220824/526f3c32e0d9461f97e15d646903e445.png
[SouthEast 16]: /images/20220824/ce08aa1214f24b24a63c9723485b38bb.png
[SouthEast 17]: /images/20220824/dd061a4599d047629592c95030b0501e.png
[SouthEast 18]: /images/20220824/53a5283405224c4e87c0a5c44c9d2efd.png
[SouthEast 19]: /images/20220824/7463a1159e3e4e0196456a768e20a46d.png
[SouthEast 20]: /images/20220824/cb6eea24929f425caad6bfe96e362163.png
[SouthEast 21]: /images/20220824/7fbe3e83f7574354b14e6b04bc6fecdc.png
[SouthEast 22]: /images/20220824/a551d2455d5f429ba8dc585902b212c3.png