Hadoop之Hadoop基础知识

爱被打了一巴掌 2022-01-21 05:27 394阅读 0赞

# Hadoop之Hadoop基础知识复习 #

--------------------

## 目录 ##

1.  Hadoop是什么
2.  Hadoop的优势
3.  Hadoop组成
4.  大数据技术生态体系

--------------------

### 1. Hadoop是什么 ###

1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。  
2）主要解决的是海量数据的存储和海量数据的分析计算问题。  
3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]

--------------------

### 2. Hadoop的优势 ###

1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。  
2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。  
3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。  
4）高容错性：能够自动将失败的任务重新分配。

--------------------

### 3. Hadoop组成 ###

1.  在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算，如下图所示：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 1]
2.  HDFS架构概述
    
    1.  NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode。
    2.  DataNdoe（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。
    3.  Seconde NameNode（2nn）：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
3.  YARN架构概述
    
    1.  ResourceManager（rm）：处理客户端请求，启动/监控ApplicationManager，监控NodeManager，资源分配与调度；
    2.  NodeManager（nm）：单个节点上的资源管理，处理来自ResourceManager的命令，处理来自ApplicationMaster的命令。
    3.  ApplicationMaster：数据切分，为应用程序申请资源，并分配给内部任务，任务监控与容错。
    4.  Container：对任务运行环境的抽象，封装了CPU，内存等多维资源以及环境变量，启动命令等任务运行相关的信息。  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 2]
4.  MapReduce架构概述  
    MapReduce将计算过程分为两个阶段：Map和Reduce，如下图所示  
    1）Map阶段并行处理输入数据  
    2）Reduce阶段对Map结果进行汇总  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 3]

--------------------

### 4. 大数据技术生态体系 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 4]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]: /images/20220121/4f86cc1790f9498586cb774be08a6cc7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 1]: /images/20220121/0ec4492910b84c65b9e7c10b83238d3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 2]: /images/20220121/06e00650a5c04694affe1f56b7f607d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 3]: /images/20220121/2b9221051f234cf9b3e0088d67c24958.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 4]: /images/20220121/b4e49afdb3774cc4863efdef029ccc52.png