HDFS初步

淡淡的烟草味﹌ 2022-05-21 04:19 159阅读 0赞

HDFS是hadoop的分布式文件系统，全称：Hadoop Distributed Filesystem。由1个master(call me NameNode)和N个slaver组成（call me datanode）。其中namenode负责存储元数据,控制和协调datanode存储文件数据。通过写多份（可定义，默认1）的方式实现数据的可靠性和读取的高效性。  
  
主要特点：   
1.    适合存储大文件，对海量小文件效率较低。这主要是由于存储在namenode上的大量小文件的文件元数据会让namenode成为瓶颈。  
2.    标准流式访问。一次写入，多次读取是最高效的访问模式，只支持文件的追加写，不支持随机访问。  
3.    对数据节点的硬件要求低，可靠性高，单台或多台节点故障一般不会中断服务（只要不是文件所在的所有副本存放节点都故障）  
4.    适合做大数据量的离线分析，不适合做第时延的联机事务业务访问。  
  
HDFS的数据块   
HDFS的数据块（block）是该文件系统的最小读写单位，默认64M（本地磁盘文件系统一般为512K）之所以设置为比较大的块，目的是最小化寻址时间，使文件系统的传输速度尽可能的取决于磁盘本身的性能。  
  
HDFS的常用命令   
Hdfs和其它文件系统一样，提供了命令行方式操作和访问的功能。可以通过命令：hadoop fs 进行操作，而且比较简单和容易理解。  
常用命令：  
$ hadoop fs –ls <path>  
$ hadoop fs –lsr <path> //递归  
$ hadoop fs –mkdir <path>  
$ hadoop fs –put <localsrc> ... <dst>  
$ hadoop fs –cp <src> <dst>  
$ hadoop fs –mv <src> <dst>  
$ hadoop fs –rm <path>  
$ hadoop fs –rmr <path> //递归  
$ hadoop fs –cat <src>  
  
Hadoop文件系统   
Hadoop有一个抽象的文件系统概念，抽象类：org.apache.hadoop.fs.FileSystem，HDFS只是其中的一个实现。Mapreduce理论上可以运行在任何一个实现中。实现类包括：  
• LocalFileSystem:本地文件系统  
• DistributedFileSystem:HDFS分布式文件系统  
• HftpFileSystem:通过HTTP提供HDFS只读访问的文件系统  
• HsftpFileSystem: 通过HTTPS提供HDFS只读访问的文件系统  
• HarFileSystem:HDFS归档文件系统  
• kosmosFileSystem:CloudStore文件系统  
• FTPFileSystem:由FTP提供支持的文件系统

• NativeS3FileSystem和S3FileSystem:由Amazon S3支持的文件系统

**HDFS的NameNode/DataNode采用主从模式工作**。

其职责为：

**NameNode**:

作为HDFS的主节点（管理节点）记录文件系统的元数据(metadata)，同时管理元数据所在的服务器位置信息，副本数。

**DataNode**：

作为HDFS的从节点（数据节点）以数据块为单位，管理存储在本地磁盘上的数据块，并将数据块信息上报给NameNode。

**Client**：

HDFS对外的接口，从NameNode上获取文件所在的位置，并连接DataNode读取、写入数据。

![70][]

**HDFS数据读取流程如下：**

1. 业务应用调用HDFSClient提供的API打开文件。