Hadoop学习总结（一）之Hadoop基础知识

￡神魔★判官ぃ 2023-02-18 08:01 16阅读 0赞

### Hadoop基础知识 ###

*   *   *  1.Hadoop是什么
         *  2.Hadoop的发展
         *  3.Hadoop组成
         *   *  3.1 HDFS架构
             *  3.2YARN架构
             *  3.3MapReduce架构
             *  3.4生态系统组成

### 1.Hadoop是什么 ###

Apache Hadoop是一款支持数据密集型**分布式**应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设，即硬件故障是常见情况，应该由框架自动处理。广义上讲Hadoop更像是一个Hadoop生态圈。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]

### 2.Hadoop的发展 ###

可以参靠Google在大数据方面的三篇论文，能够清楚了解其是怎样发展为现在版本。  
GFS发展为HDFS,Map-Reduce发展为MapReduce,BigTable发展为HBase.  
![在这里插入图片描述][2020061613160276.png]

### 3.Hadoop组成 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 1]

#### 3.1 HDFS架构 ####

HDFS（Hadoop Distributed File System）

*  NameNode(nn):存储文件的元数据
 *  DataNode(dn):在本地文件系统存储文件块数据，以及块数据的校验
 *  Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

#### 3.2YARN架构 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 2]

#### 3.3MapReduce架构 ####

MapReduce将计算过程分为两个阶段：Map和Reduce  
1）Map阶段并行处理输入数据  
2）Reduce阶段对Map结果进行汇总

#### 3.4生态系统组成 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 3]

[下一篇：Hadoop学习总结（二）之Centos7安装Hadoop-2.9.2及相应配置][Hadoop_Centos7_Hadoop-2.9.2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200616130802613.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA==,size_16,color_FFFFFF,t_70
[2020061613160276.png]: https://img-blog.csdnimg.cn/2020061613160276.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020061613172238.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200616132540912.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200616132840811.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA==,size_16,color_FFFFFF,t_70
[Hadoop_Centos7_Hadoop-2.9.2]: https://blog.csdn.net/weixin_38924500/article/details/106671564