轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.3 HDFS假设和目标

刺骨的言语ヽ痛彻心扉 2024-03-22 12:51 66阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.3 HDFS假设和目标
                 *   *  Assumptions and Goals【假设和目标】

![在这里插入图片描述][41df9d768d394360a00dc5d1a1f8babe.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.3 HDFS假设和目标 ######

[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html][https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_HdfsDesign.html]

![在这里插入图片描述][7382c553a91f4e75bf70cf4f9fe525b1.png_pic_center]

###### Assumptions and Goals【假设和目标】 ######

![在这里插入图片描述][28dd6f07bc1d4ff29d9167b6e2dd5e0c.png_pic_center]

【1】硬件问题 Hardware Failure

硬件故障是常态而不是例外。一个 HDFS 实例可能由成百上千台服务器机器组成，每台机器都存储文件系统数据的一部分。事实上，有大量的组件并且每个组件都有很大的故障概率，这意味着 HDFS 的某些组件总是无法正常工作。因此，检测故障并从中快速自动恢复是 HDFS 的核心架构目标。

![在这里插入图片描述][ca82daee2f454c32b8e3a46a7516ff28.png_pic_center]

*  由于Hadoop可以部署在廉价的机器上
 *  所以可以能遇到一些问题
 *  如何进行错误检测、自动快速的恢复。这是HDFS架构的核心

【2】流式数据的访问 Streaming Data Access

在 HDFS 上运行的应用程序需要对其数据集进行流式访问。它们不是通常在通用文件系统上运行的通用应用程序。HDFS更多的是为**批处理**而不是用户交互使用而设计的。重点是数据访问的高吞吐量而不是数据访问的低延迟。POSIX 强加了许多针对 HDFS 的应用程序不需要的硬性要求。一些关键领域的 POSIX 语义已经被交换以提高数据吞吐率。

![在这里插入图片描述][8626692d59b94ed494d51a9baf43037c.png_pic_center]

*  HDFS is designed more for batch processing rather than interactive use by users
    
    批处理/离线处理
 *  high throughput of data access rather than low latency of data access
    
    高吞吐量 而不是 低延迟

【3】大数据集 Large Data Sets

在 HDFS 上运行的应用程序具有大型数据集。HDFS 中的典型文件大小为 **GB 到 TB**【普通的机器很明显，绝对吃力】。

因此，HDFS 被调整为支持大文件。它应该为单个集群中的数百个节点提供高聚合数据带宽和规模。它应该在单个实例中支持数千万个文件。

![在这里插入图片描述][935436ab7b6e4b2aa797d9ba5236ba36.png_pic_center]

*  大数据集
 *  带宽、大集群

【4】简单一致性模型 Simple Coherency Model

HDFS 应用程序需要一种**一次写入多次读取**的文件访问模型。文件一旦创建、写入和关闭，除了追加和截断之外不需要更改。支持将内容附加到文件末尾，**但不能在任意点更新**。

这种假设简化了数据一致性问题并实现了高吞吐量数据访问。MapReduce 应用程序或网络爬虫应用程序非常适合此模型。

![在这里插入图片描述][8e2312b750d7457e9342ff43512252b2.png_pic_center]

*  write-once-read-many 一次写入多次读取
 *  将数据写入到HDFS中，对应的就是文件
 *  采用分布式计算框架等对这份数据进行多次处理
 *  不能对文件的任意位置的数据进行修改
 *  insert update(不行，但是后来就有了其他的框架，比如HBase) delete …

【5】移动计算比移动数据(意思是移动数据，噗)更便宜划算 Moving Computation is Cheaper than Moving Data

如果应用程序请求的计算是在它所操作的数据附近执行的，那么它的效率要高得多。当数据集的规模很大时尤其如此。这最大限度地减少了网络拥塞并增加了系统的整体吞吐量。假设是将计算迁移到更靠近数据所在的位置而不是将数据移动到应用程序运行的位置通常更好。HDFS 为应用程序提供接口，使它们更靠近数据所在的位置。

![在这里插入图片描述][a1a1fb47dd994df5b9f5efb8d222090f.png_pic_center]

移动计算优于移动数据
    
    	NODE1  NODE2  NODE3
    	data          把数据移动到NODE3上来
    	作业			 作业

【6】Portability Across Heterogeneous Hardware and Software Platforms 跨异构硬件和软件平台的可移植性

HDFS 被设计成可以轻松地从一个平台移植到另一个平台【轻便快捷】。这有助于广泛采用 HDFS 作为大量应用程序的首选平台。

> 这些点能理解就好，不需要硬背，因为我们在真正的开始使用后，会真实感受到这些特点的厉害之处。

[41df9d768d394360a00dc5d1a1f8babe.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d282857168dd42e398c6619937d755df.png
[https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_HdfsDesign.html]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
[7382c553a91f4e75bf70cf4f9fe525b1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d762a78d4d5f4192b83ede285b9618dd.png
[28dd6f07bc1d4ff29d9167b6e2dd5e0c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5d08afcd2ef14c6c8b47709c633e278f.png
[ca82daee2f454c32b8e3a46a7516ff28.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/39e57c7e45b045cf8c4a16ca184404e5.png
[8626692d59b94ed494d51a9baf43037c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/c9fb1fd6a1ee4922bca5eab3f50e8975.png
[935436ab7b6e4b2aa797d9ba5236ba36.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5f55e73f5abb49c7b7c70ab87ddf17c1.png
[8e2312b750d7457e9342ff43512252b2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1d2c392e345244b69982132e4b118589.png
[a1a1fb47dd994df5b9f5efb8d222090f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/871854c2224c4e45b27256f17a66d78d.png