Hadoop入门及安装配置

迷南。 2022-12-16 04:57 187阅读 0赞

--------------------

> 在Hadoop的文章里面将会介绍Hadoop的核心组件:HDFS,YARN,MapReduce,Hive,Sqoop和HBase,并在此基础上,进一步学习Hadoop的性能优化和运维.

### 文章目录 ###

*  一、Hadoop
 *   *  1.1 Hadoop的定义
     *  1.2 Hadoop的特点
 *  二、环境准备
 *   *  2.1 Hadoop的版本选择
     *  2.2 Hadoop架构
     *   *  2.2.1 Hadoop HDFS 架构
         *  2.2.2 YARN 架构
         *  2.2.3 Hadoop 架构
     *  2.3 安装 Hadoop
     *   *  2.3.1 安装运行环境

# 一、Hadoop #

## 1.1 Hadoop的定义 ##

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算;

## 1.2 Hadoop的特点 ##

1.  Hadoop是一个框架
2.  Hadoop适合处理大规模数据
3.  Hadoop被部署在一个集群上

> Hadoop是一个提供分布式存储和计算的软件框架，它具有无共享、高可用、弹性可扩展的特点，非常适合海量数据的处理；

# 二、环境准备 #

## 2.1 Hadoop的版本选择 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center]  
选择版本，取决于用户想要的功能是否稳定，对于稳定的需求，一般就考虑CDH；  
CDH有很多的补丁和更新，稳定性很不错；  
对于功能需求，CDH几乎包括了整个Hadoop生态圈，能够很好的为业务提供支持；  
CDH是目前最稳定，也是功能最全的CDH版本；  
CDH5还包括了Hive、HBase、Sqoop等；  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 1]

## 2.2 Hadoop架构 ##

Hadoop主要由两部分组成：分布式文件系统HDFS和统一资源管理和调度系统YARN;

### 2.2.1 Hadoop HDFS 架构 ###

构成HDFS集群的主要是两类节点，并以主从(master/slave)模式，或者说管理者-工作者的模式运行，即一个NameNode（管理者）和多个DataNode（工作者）。还有一种节点叫SecondaryNameNode，作为NameNode镜像数据备份。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 2]

### 2.2.2 YARN 架构 ###

构成YARN集群的是两类节点：ResourceManager和NodeManager；  
同HDFS相似，YARN也采用主从架构；  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 3]

### 2.2.3 Hadoop 架构 ###

从上面可以知道，HDFS 集群和YARN集群其实由些守护进程组成， 而所有这些守护进程和运行它们的节点就构成了Hadoop 集群。如图所示，这个集群的NameNode 进程和ResourceManager进程在一个节点上运行，而DataNode和NodeManager在同个节点上运行看。

值得一提的是，DataNode 和NodeManager需要配对部署在同一个节点，但NameNode和ResourceManager却并不一定部署在同一个节点。在生产环境中，为了性能和稳定性考虑，强烈建议NameNode和ResourceManager 分开部署。  
(为了突出重点，这里省略了SecondaryNameNode和客户端，实际上是存在的)，这样也是一个标准的Hadoop集群。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 5]

## 2.3 安装 Hadoop ##

我们选择CDH5进行部署  
下载地址为：[CDH5下载地址][CDH5]

**Hadoop的运行模式有以下三种：**

1.  单机模式
2.  伪分布模式
3.  完全分布模式

**Hadoop的安装步骤大致分为8步：**

1.  安装运行环境
2.  修改主机名和用户名
3.  配置静态IP
4.  配置SSH无密码连接
5.  安装JDK
6.  配置Hadoop
7.  格式和ＨＤＦＳ
8.  启动Hadoop并验证安装

### 2.3.1 安装运行环境 ###

下载CentOS的镜像文件,[中国科技大学镜像地址][Link 1]

安装截图下篇见

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/37d5ecf0f56943c2989c75d8d132b3fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/1ab126a0556f4fe49068385c8caf43f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/2ac9298c3d30477a99ef9c1186cca329.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/01f6f459ecc14f0e9d15efc9e0bdf545.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/528021dae15a452a9ea43d05c320704e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/a5f31a792a4d44e88f343e4563b12630.png
[CDH5]: https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.6.0.tar.gz
[Link 1]: http://centos.ustc.edu.cn/centos