hadoop1.1.2分布式环境搭建

灰太狼 2022-08-26 13:13 215阅读 0赞

hadoop1.1.2分布式安装

# Hadoop简介 #

![SouthEast][]

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

# 环境说明 #

## 集群规划 ##

集群中包括3个节点：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，

<table> 
 <tbody> 
  <tr> 
   <td> <p><strong><span style="color:#333333">机器名称</span></strong></p> </td> 
   <td> <p><strong><span style="color:#333333">IP</span><span style="color:#333333">地址</span></strong></p> </td> 
   <td> <p><strong><span style="color:#333333">节点说明</span></strong></p> </td> 
  </tr> 
  <tr> 
   <td> <p><span style="color:#333333">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; icity0</span></p> </td> 
   <td> <p><span style="color:#333333">192.16.39.141</span></p> </td> 
   <td> <p><span style="color:#333333">&nbsp;&nbsp;&nbsp;&nbsp; Master</span></p> </td> 
  </tr> 
  <tr> 
   <td> <p><span style="color:#333333">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; icity1</span></p> </td> 
   <td> <p><span style="color:#333333">192.16.39.174</span><span style="color:#333333">&nbsp;</span></p> </td> 
   <td> <p><span style="color:#333333">&nbsp;&nbsp;&nbsp;&nbsp; Slave</span></p> </td> 
  </tr> 
  <tr> 
   <td> <p><span style="color:#333333">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; icity2</span></p> </td> 
   <td> <p><span style="color:#333333">192.16.39.175</span><span style="color:#333333">&nbsp;</span></p> </td> 
   <td> <p><span style="color:#333333">&nbsp;&nbsp;&nbsp;&nbsp; Slave</span></p> </td> 
  </tr> 
 </tbody> 
</table>

3个节点上均是Redhat6系统，并且有一个相同的用户hadoop。Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；2个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。

## Linux服务器配置信息 ##

\[root@localhost ~\]\# uname -a

Linux localhost.localdomain2.6.32-220.el6.x86\_64 \#1 SMP Wed Nov 9 08:03:13 EST 2011 x86\_64 x86\_64 x86\_64GNU/Linux

\[root@localhost ~\]\# free

total       used       free    shared    buffers     cached

Mem:      2054828    1928908     125920          0     67940      95796

\-/+ buffers/cache:    1765172    289656

Swap:     6291448     511492    5779956

## 创建hadoop用户 ##

\[root@localhost ~\]\# uname -a

Linux localhost.localdomain 2.6.32-220.el6.x86\_64\#1 SMP Wed Nov 9 08:03:13 EST 2011 x86\_64 x86\_64 x86\_64 GNU/Linux

\[root@localhost ~\]\# free

total       used       free    shared    buffers     cached

Mem:      2054828    1928908     125920          0     67940      95796

\-/+ buffers/cache:    1765172    289656

Swap:     6291448     511492    5779956

1.3：创建hadoop用户

\[root@localhost ~\]\# useradd hadoop

\[root@localhost ~\]\# pwd hadoop

/root

\[root@localhost ~\]\# passwd hadoop

Changing password for user hadoop.

New password:

BAD PASSWORD: it is WAY too short

BAD PASSWORD: is a palindrome

Retype new password:

Sorry, passwords do not match.

New password:

BAD PASSWORD: it is toosimplistic/systematic

BAD PASSWORD: is too simple

Retype new password:

passwd: all authentication tokens updatedsuccessfully.

\[root@localhost ~\]\# su - hadoop

\[hadoop@localhost ~\]$ pwd

/home/hadoop

这里面我设置的密码是123456，所以比较简单，有提示，不用管，在另外两台服务器上按照这个操作创建hadoop用户。

## 修改网关 ##

将141 服务器的hostname设置为icity0

**vi /etc/sysconfig/network    **

**![SouthEast 1][]**

依此操作将另外两台服务器修改为icity1 和 icity2；将此文件scp到另外两台服务器覆盖其上面的文件也可以。

**设置完此部分，重启服务器。reboot。**

## 配置hosts文件 ##

将ip与hostname对应的信息写入hosts文件，如图所示：

**vi /etc/hosts**

** ![SouthEast 2][]**

依此操作将另外两台服务器修改为icity1 和 icity2；将此文件scp到另外两台服务器覆盖其上面的文件也可以。

配置完成后重启网卡：

**service network restart**

** **

## 关闭防火墙 ##

**service iptables stop**

建议将服务器按如下设置：

chkconfig iptables off  --关闭防火墙开机启动

chkconfig iptables –list   – 查看状态

如图所示：

![SouthEast 3][]

**依此操作另外两台服务器icity1和 icity2；**

** **

## 环境测试 ##

每台服务器上操作，如图所示：

![SouthEast 4][]

ping icity0

ping icity1

ping icity2

** **

** **

# 配置SSH无密码登录 #

## SSH无密码原理 ##

Master（NameNode | JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上。

## 生成密钥 ##

首先登陆141，切换到hadoop用户：

su – hadoop

执行：

**ssh-keygen  -t  rsa**

命令是生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id\_rsa和id\_rsa.pub，默认存储在"/home/hadoop/.ssh"目录下。

如图所示：

![SouthEast 5][]

** **

查看"/home/hadoop/"下是否有".ssh"文件夹，且".ssh"文件下是否有两个刚生产的无密码密钥对。

![SouthEast 6][]

**依此操作另外两台服务器icity1和 icity2；**

** **

**Icity1：**

![SouthEast 7][]

** **

**Icity2：**

**![SouthEast 8][]**

** **

**回到icity0服务器，切换到hadoop用户**

** **

**cd /home/hadoop/.ssh**

**cp id\_rsa.pub  authorized\_keys**

**![SouthEast 9][]**

**回到hadoop目录，建立sshkey目录：**

** ![SouthEast 10][]**

**操作icity1和icity2服务器，将刚才生成的密钥文件scp到sshkey目录下面；**

**Icity1：**

**![SouthEast 11][]**

**Icity2：**

![SouthEast 12][]

** **

**回到icity0服务器的hadoop用户,查看sshkey文件夹:**

![SouthEast 13][]

** **

**将icity1和icity2的密钥放入authorized\_keys文件中，如图操作：**

** ![SouthEast 14][]**

**查看authorized\_keys文件：**

** ![SouthEast 15][]**

**测试icity0无密码登录：**

**![SouthEast 16][]**

**确实没有要求输入密码；**

** **

**将icity0.ssh目录下面的authorized\_keys文件scp到icity1和icity2 .ssh目录下面；**

**scp authorized\_keys  [hadoop@icity1:/home/hadoop/.ssh/][hadoop_icity1_home_hadoop_.ssh]**

**scp authorized\_keys  [hadoop@icity2:/home/hadoop/.ssh/][hadoop_icity2_home_hadoop_.ssh]**

**如图所示：**

**![SouthEast 17][]**

**登录icity1和icity2的hadoop用户，查看文件：**

** ![SouthEast 18][]**

** ![SouthEast 19][]**

**回到icity0的hadoop用户，测试icity1和icity2的无密码登录验证：**

![SouthEast 20][]

![SouthEast 21][]

![SouthEast 22][]

** **

**至此，无密码验证配置完成。**

** **

# 软件安装 #

## Jdk安装配置 ##

将jdk1.7上传到icity0服务器的/usr/java/目录下面，解压后如图所示：

![SouthEast 23][]

解压完成后，将其scp到icity1和icity2服务器的/usr/java/目录下面，**如果不存在java目录，先创建此java目录；**

执行如下命令：

su – hadoop

scp -r /usr/java/jdk1.7.0\_09hadoop@icity1:/usr/java/

scp -r /usr/java/jdk1.7.0\_09 hadoop@icity2:/usr/java/

由于之前已经配置了无密码加密，故无需输入密码，直接执行命令即可。

## 配置jdk环境变量 ##

在ictiy0服务器的hadoop用户下面，

su – haoop

vi .bash\_profile

![SouthEast 24][]

输入红圈中的内容即可。

**依此操作另外两台服务器icity1和 icity2；**

## 使配置生效 ##

保存并退出，执行下面命令使其配置立即生效。

**source  .bash\_profile**

**依此操作另外两台服务器icity1和 icity2；**

** **

**“配置jdk环境变量”和“使配置生效”可以合为一步，将icity0配置好的.bash\_profile文件scp到icity1和icity2 /home/haoop/目录下面，然后ssh icity1和ssh icity2上，执行**

**source  .bash\_profile 即可。**

**至此，jdk配置完成。**

** **

## Hadoop安装 ##

将hadoop1.1.2上传到icity0服务器的hadoop用户目录下面，如图所示：

![SouthEast 25][]

解压并重命名为hadoop，如图所示：

**tar -zxvf hadoop-1.1.2.tar.gz**

**mv hadoop-1.1.2 hadoop**

![SouthEast 26][]

## 修改Hadoop的配置 ##

### 修改conf/hadoop-env.sh ###

**vi hadoop-env.sh**

**![SouthEast 27][]**

保存退出。

### 配置conf/core-site.xml ###

**vi core-site.xml**

增加如下内容：如图所示：

![SouthEast 28][]

### 配置conf/hdfs-site.xml ###

**vi hdfs-site.xml 增加如下内容，如图所示：**

** ![SouthEast 29][]**

### 配置conf/mapred-site.xml ###

**vi mapred-site.xml 增加如下内容，如图所示：**

** ![SouthEast 30][]**

### 配置conf/masters ###

**vi masters** 增加如下内容，如图所示：

![SouthEast 31][]

### 配置conf/slaves ###

**vi slaves** 增加如下内容，如图所示：

![SouthEast 32][]

至此，hadoop配置完成。

## 配置hadoop环境变量 ##

切换到icity0服务器，切换到hadoop用户，

配置.bash\_profile文件，增加如下内容：

**vi .bash\_profile**

**![SouthEast 33][]**

**保存退出。**

**使配置生效：**

**source .bash\_profile**

** **

## scp hadoop目录和文件到slave节点 ##

将icity0 上面的hadoop安装目录和文件scp到icity1和icity2服务器上面。

**scp -r hadoop hadoop@icity1:/home/hadoop/**

**scp -r hadoop hadoop@icity2:/home/hadoop/**

** **

## scp  .bash\_profile 文件到slave节点 ##

**将.bash\_profile配置文件scp到icity1和icity2的hadoop /home/hadoop/目录下面，然后ssh icity1和ssh icity2上，执行source .bash\_profile即可。具体见图：**

** ![SouthEast 34][]**

**自此，所有配置工作完成，下面开始启动hadoop。**

** **

# 启动/停止Hadoop集群 #

## 启动hadoop集群 ##

### 格式化 ###

**在icity0上**第一次启动Hadoop,必须先格式化namenode

**cd $HADOOP\_HOME /bin**

**hadoop namenode –format**

**如图所示：**

![SouthEast 35][]

** **

### 启动Hadoop ###

**cd $HADOOP\_HOME/bin**

**./start-all.sh**

**如果启动过程，报错safemode相关的Exception**

**执行命令**

**\#hadoop dfsadmin -safemode leave**

**然后再启动Hadoop**

** ![SouthEast 36][]**

**启动没有报错。启动完成。**

** **

** **

### 停止Hadoop ###

**cd $HADOOP\_HOME/bin**

**./stop-all.sh**

# 进程检查 #

在master icity0服务器上执行jps：存在3大进程：

NameNode

SecondaryNameNode

JobTracker

![SouthEast 37][]

在slave上执行jps：存在进程：

DataNode

TaskTracker

![SouthEast 38][]

![SouthEast 39][]

# 终端查看集群状态 #

执行命令：

**hadoop dfsadmin –report**

**如图所示：**

** ![SouthEast 40][]**

**到此，整个hadoop的分布式安装完成。**

[SouthEast]: /images/20220824/634dd2d153404830bfc6eab8a48db122.png
[SouthEast 1]: /images/20220824/256dff771817431099f74ed82851036d.png
[SouthEast 2]: /images/20220824/7ca9727b4b84479cafa832da628d2dad.png
[SouthEast 3]: /images/20220824/8630da8e3f25408098261816945b183f.png
[SouthEast 4]: /images/20220824/7ac673dfcc9b4590a0211f9c2d59012f.png
[SouthEast 5]: /images/20220824/d53094924b834250ae5b780b5a5094ff.png
[SouthEast 6]: /images/20220824/7fe4d284d7b94c85a5b50725df898059.png
[SouthEast 7]: /images/20220824/d3ccb352d48f44b7aaa6e421fd015b53.png
[SouthEast 8]: /images/20220824/f83f7872fe9048c298cb9b59ca6edceb.png
[SouthEast 9]: /images/20220824/6d2b8c6be2c34f99b51455bb147c3c5d.png
[SouthEast 10]: /images/20220824/83cd0e08069140528b319b4d9cc66ef6.png
[SouthEast 11]: /images/20220824/c5c3d93dc390493b9531a3c9784d262d.png
[SouthEast 12]: /images/20220824/2cf0884dbaf04842b77dee28b1efd07c.png
[SouthEast 13]: /images/20220824/07372605093f4f89938cbd9fff0ff106.png
[SouthEast 14]: /images/20220824/a663ee09cf264a4c8c40d73de20e0451.png
[SouthEast 15]: /images/20220824/e141afef133d4073a220f18209f5e0a9.png
[SouthEast 16]: /images/20220824/7678d4ba3ce74889ab035b82b013c80d.png
[hadoop_icity1_home_hadoop_.ssh]: mailto:hadoop@icity1:/home/hadoop/.ssh/
[hadoop_icity2_home_hadoop_.ssh]: mailto:hadoop@icity2:/home/hadoop/.ssh/
[SouthEast 17]: /images/20220824/32638444ca7c42b0827aaeff198ff1e4.png
[SouthEast 18]: /images/20220824/e77ff490115246b28d27bd6a51e83450.png
[SouthEast 19]: /images/20220824/9d6258d19c4d4a65be8da7d62a397cf6.png
[SouthEast 20]: /images/20220824/6d925d93f2fe4c66b80aa964f87d65e8.png
[SouthEast 21]: /images/20220824/6a210c44cefc4b2ba199e0d480f60c19.png
[SouthEast 22]: /images/20220824/0d0eea7eea214e8ab7526cfc016516cd.png
[SouthEast 23]: /images/20220824/04b66362974a47cf8a0a6eaf34e6d422.png
[SouthEast 24]: /images/20220824/618c6bf03cc44416928d43d9d9525b72.png
[SouthEast 25]: /images/20220824/ef0ae9945a1846f3b377e7ec5b4032c9.png
[SouthEast 26]: /images/20220824/019092467d3d40539d130d12ac31d842.png
[SouthEast 27]: /images/20220824/691f3cbf8cf64d24925cfb8f7da36aab.png
[SouthEast 28]: /images/20220824/9e5288fe04cc4a888ea49ec677a19b37.png
[SouthEast 29]: /images/20220824/e6d84d8f25f44fc9803e6afa6d7fd57d.png
[SouthEast 30]: /images/20220824/7db13619ea9b400384448c726c9d7350.png
[SouthEast 31]: /images/20220824/fde4745c0fe049e082501877833a508b.png
[SouthEast 32]: /images/20220824/139f6efb3e484167825cb93204764c86.png
[SouthEast 33]: /images/20220824/bd4f4b23769e473f9f0282c3f789597d.png
[SouthEast 34]: /images/20220824/a527c925d4774ce1a2c1c7b0d76a55ca.png
[SouthEast 35]: /images/20220824/123d2215b64d49958d205770a8a3d7fe.png
[SouthEast 36]: /images/20220824/5c7d722c603b4d7b8cf613b3a334570c.png
[SouthEast 37]: /images/20220824/5ece96c909e746c1bd7eebc11508d342.png
[SouthEast 38]: /images/20220824/e4c877dc0e114996a1158ace0d8a00ef.png
[SouthEast 39]: /images/20220824/496b92723b2340e2b0bfcc7bce209ea7.png
[SouthEast 40]: /images/20220824/8b5f9ce96aa4470686ad898eb4216f1f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，215人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop搭建伪分布式环境

1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet

深碍√TFBOYSˉ_/ 2023年06月30日 04:24/ 0 赞/ 19 阅读

相关 Hadoop安装 -- CDH分布式环境搭建

目标: 搭建基于CDH的分布式集群安装环境服务部署计划 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_

╰+攻爆jí腚メ/ 2023年06月12日 05:26/ 0 赞/ 26 阅读

相关 Hadoop分布式搭建

1. 环境准备准备三台centos7虚拟机，设置静态IP(192.168.1.103,192.168.1.104,192.168.1.105) 主机名称分别用had

深碍√TFBOYSˉ_/ 2023年02月14日 06:53/ 0 赞/ 16 阅读

相关 hadoop1.1.2分布式环境搭建

hadoop1.1.2分布式安装 Hadoop简介 ![SouthEast][] Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoo

灰太狼/ 2022年08月26日 13:13/ 0 赞/ 216 阅读

相关从零开始hadoop分布式环境搭建

1. Linux虚机换机环境安装 1.1 linux环境安装 1.建议选择虚拟机:VirtualBox 2.Linux版本：Ubuntu 3.安装时选择动态

叁歲伎倆/ 2022年07月13日 11:21/ 0 赞/ 353 阅读

相关 Hadoop 2X伪分布式环境搭建

从0开始搭建一套伪分布式环境，然后跑一个程序验证一下环境是否搭建成功。 1.hostname 首先第一步查看自己的linux的houstname。如果没有的请设置一下v

系统管理员/ 2022年06月06日 12:27/ 0 赞/ 436 阅读

相关 Hadoop完全分布式环境搭建

搭建完全分布式环境是在会先搭建单节点的伪分布式环境上面进行的，先拷贝一份伪分布式的hadoop安装程序，jdk安装之类的就先不讲了,然后再伪分布式环境上对配置文件进行修改，

冷不防/ 2022年05月30日 09:13/ 0 赞/ 294 阅读

相关 hadoop完全分布式环境搭建

1，设置Java环境 ![复制代码][copycode.gif] rpm -ivh jdk-8u73-linux-x64.rpm 添加环境变量到启

灰太狼/ 2022年05月19日 08:52/ 0 赞/ 341 阅读

相关 Hadoop环境搭建

目录 Hadoop环境搭建 1 Centos 6.5系统安装 1.1 安装Centos Mini

素颜马尾好姑娘i/ 2022年05月14日 22:44/ 0 赞/ 429 阅读

相关 Hadoop入门——伪分布式环境的搭建

一.配置虚拟机设置静态ip，此处为192.168.159.130 /etc/hosts中配置如下： 192.168.159.130 hdserver1

痛定思痛。/ 2021年09月27日 04:28/ 0 赞/ 477 阅读