走向云计算之HDFS详解

╰+攻爆jí腚メ 2022-06-14 06:51 481阅读 0赞

## 一、概要 ##

作为Hadoop的核心技术之一，HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）是分布式计算中数据存储管理的基础。它所具有的高容错、高可靠、高可扩展性、高吞吐率等特性为海量数据提供了不怕故障的存储，也为超大规模数据集（Large Data Set）的应用处理带来了很多便利。

### 1、HDFS优点 ###

*  高容错性  
    1、数据自动保存多个副本  
    2、副本丢失后，自动恢复
 *  适合批处理  
    1、移动计算而非数据  
    2、数据位置暴露给计算框架
 *  适合大数据处理  
    1、GB、TB、甚至PB级数据  
    2、百万规模以上的文件数量  
    3、10K+节点规模
 *  流式文件访问  
    1、一次性写入，多次读取  
    2、保证数据一致性
 *  可构建在廉价机器上  
    1、通过多副本提高可靠性  
    2、提供了容错和恢复机制

### 2、HDFS缺点 ###

*  低延迟数据访问  
    1、比如毫秒级  
    2、低延迟与高吞吐率
 *  不利于大量小文件存取  
    1、占用NameNode大量内存  
    2、寻道时间超过读取时间
 *  不支持并发写入和文件随机修改  
    1、一个文件只能有一个写者  
    2、仅支持append（追加模式）

## 二、HDFS基本架构和原理 ##

HDFS设计思想可以用下图展示：  
![这里写图片描述][20170612223535185]  
HDFS拥有一个NameNode和若干DataNodes。NameNode管理文件系统的元数据，DataNode存储实际的数据。客户端通过同NameNode和DataNode的交互访问文件系统→客户端联系NameNode以获取文件的元数据，而真正的I/O操作是直接和DataNode进行交互的。其典型物理拓扑如下图：  
![这里写图片描述][20170612230430532]

### 1、HDFS Client ###

是HDFS的访问客户端，主要职责有：

*  文件切分
 *  与NameNode交互，获取文件位置信息；
 *  与DataNode交互，读取或者写入数据；
 *  管理HDFS；
 *  访问HDFS

### 2、Namenode ###

Namenode使整个HDFS系统的主Master，一般情况在整个集群中只有一个。主要职责有：

*  管理HDFS中文件目录与数据块之间的关系，是静态的，是存放在磁盘上的，通过fsimage和edits文件来维护。
 *  管理HDFS中数据块与节点间的关系，是动态的，不持久化到磁盘，每当集群启动的时候，会自动建立这些信息。
 *  配置副本策略
 *  处理客户端读写请求

### 3、 Secondary NameNode ###

从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。它的职责是合并NameNode的edit logs到fsimage文件中。  
SecondaryNameNode有两个作用，一是镜像备份，二是日志与镜像的定期合并。两个过程同时进行，称为checkpoint。

*  镜像备份的作用  
    备份fsimage(fsimage是元数据发送检查点时写入文件);
 *  日志与镜像的定期合并的作用  
    将Namenode中edits日志和fsimage合并,减小重恢复的代价。因为如果Namenode节点故障，namenode下次启动的时候，会把fsimage加载到内存中，应用edit log,而edit log往往很大，导致操作往往很耗时。

### 4、Datanode ###

DataNode是HDFS中真正存储数据的，需要注意的是DataNode存储的是Block（数据块）。假设原文件大小是100GB，那么从字节位置0开始，每64MB字节划分为一个Block，以此类推，可以划分出很多的Block。然后把这些Block存储到HDFS集群上。

### 5、HDFS数据块（block） ###

HDFS存储时把文件切分成固定大小的数据块，默认数据块大小为64MB，可自行配置。若文件大小不到64MB，则单独存成一个block。之所以设计数据块为64MB或者更大的原因是为了减少寻道时间，从而保证高吞吐率。文件按大小被切分成若干个block后，会存储到不同节点上，默认情况下每个block有三个副本。

### 6、HDFS可靠性策略 ###

HDFS具备了较为完善的冗余备份和故障恢复机制，可以实现在集群中可靠地存储海量文件。

*  冗余备份  
    HDFS将每个文件存储成一系列的数据块（Block），默认块大小为64MB（可以自定义配置）。为了容错，文件的所有数据块都可以有副本（默认为3个，可以自定义配置）。当DataNode启动的时候，它会遍历本地文件系统，产生一份HDFS数据块和本地文件对应关系的列表，并把这个报告发送给NameNode，这就是报告块（BlockReport），报告块上包含了DataNode上所有块的列表。
 *  HDFS副本放置策略  
    一个文件划分成多个block，每个block存多份，如何为每个block选择节点存储这几份数据？  
    Block副本放置策略：HDFS采用一种称为机架感知（Rack-aware）的策略来改进数据的可靠性、可用性和网络带宽的利用率。  
    ![这里写图片描述][20170612230207215]

副本1: 同Client的节点上，也就是当前节点
    副本2: 不同机架中的任意一个节点上
    副本3: 与第二个副本在同一机架的另一个节点上
    其他副本:随机挑选（假如副本配置大于3）

*  心跳检测  
    ![这里写图片描述][20170613000329050]  
    NameNode周期性地从集群中的每个DataNode接受心跳包和块报告，NameNode可以根据这个报告验证映射和其他文件系统元数据。收到心跳包，说明该DataNode工作正常。如果DataNode不能发送心跳信息，NameNode会标记最近没有心跳的DataNode为宕机，并且不会给他们发送任何I/O请求。  
    ![这里写图片描述][20170613000443560]  
    如果NameNode检测到一个DataNode不再发出检测信号，则假定它已经死亡，存储在该节点上的数据也消失了。基于从死亡节点接受到的报告，NameNode知道哪个副本连同节点块死亡，并可决定重新复制这些块到其他DataNode。这个过程还将参考机架感知数据，以保持在一个机架内的两个副本。
 *  安全模式  
    处于safemode的集群是无法接收任何写操作的，包括创建目录、删除文件、修改文件、上传文件等等。hdfs集群在启动和关闭的时候一般会有一段时间处于safemode，如果集群中出现了大量的block副本数量低于配置的副本数据量（这个副本数量的配置并不一定是在hdfs的配置文件中配的，配置文件中的只是默认值，在创建文件的时候，客户端可以给文件指定一个副本数量），或者有大量的节点出现故障时，集群可能会长时间处于safemode。出现以上情况就需要去检查集群或者文件是否除了故障。有时候管理员也会强制集群退出safemode，通过hdfs dfsadmin -safemode leave退出

### 7、HDFS不适合存储小文件 ###

*  在HDFS系统中，元信息存储在NameNode内存中的，而一个节点的内存是有限的，大量的小文件的元信息会消耗很多的内存资源。
 *  存取大量小文件消耗大量的寻道时间，其原理类比拷贝大量小文件与拷贝同等大小的一个大文件。
 *  NameNode存储block数目是有限的，一个block元信息消耗大约150 byte内存。那么存储1亿个block，大约需要20GB内存。如果一个文件大小为10K，则1亿个这样的小文件大小仅为1TB（但要消耗掉NameNode 20GB内存）。

## 三、HDFS的读写过程详解 ##

该部分参考了Understanding Hadoop Clusters and the Network中的内容。这里我们来举一个简单的例子，现在我们有一个庞大的数据文件（主要是用户给客服部门的发的电子邮件内容）。我想快速的截取下“Refund”在邮件中出现的次数。这是个简单的字数统计练习。Client将把数据加载到集群中（File.txt），提交数据分析工作的描述（word cout），集群将会把结果储存到一个新的文件中（Results.txt），然后Client就会读结果文档。

### 1、写流程 ###

第一：基本流程  
![这里写图片描述][20170612233014026]  
客户端首先需要向NameNode发起写请求，NameNode会根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。最后，Client（开发库）将文件划分为多个文件块，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。收到数据的DataNode节点将会把数据复制到其他数据节点中，循环只到所有数据节点都完成拷贝为止。NameNode只负责提供数据的位置和数据在族群中的去处（文件系统元数据）。

第二：备份原则  
![这里写图片描述][20170612233649091]  
上图描述了HDFS的机架感知和冗余备份的策略，当Rack 9发生故障后，可以保证数据不丢失。上文以详细介绍，这里不再详述。

第三：准备工作  
![这里写图片描述][20170612234039628]  
在Client将File.txt的“Block A”部分写入集群之前，Client需要知道所有的目标数据节点是否已准备就绪。它将取出列表中给Block A准备的第一个数据节点，打开TCP 50010协议，并告诉DataNode1准备好接收1块数据，这里还有一份列表包括了DataNode5和DataNode6，确保他们同样已准备就绪。然后再由DataNode1传达到DataNode5，接着DataNode5传达到DataNode6。数据节点将从同样的TCP通道中响应上一级的命令，直到Client收到原始数据节点1发送的的“就绪”通知。直到此刻，Client才真正的准备在集群中加载数据块。

第四：准备就绪  
![这里写图片描述][20170612234855865]

当HDFS准备就绪后，将数据块写入集群时，3个（根据副本保存策略而定）DataNode（也就是1，5，6）将打开一个同步通道。这就意味着，当一个数据节点接收到一个数据块后，它将立即通过通道给下一个数据节点提供刚接收到的数据块拷贝。这样通过流传输的方式，完成三个数据副本的备份。需要注意的是第二个和第三个数据节点运输在同一个机架中，这样他们之间的传输就获得了高带宽和低延时。直到当前这个数据块被成功的写入3个节点中，下一个数据块才会开始传输。

第五：写入成功后：  
![这里写图片描述][20170612235753104]  
当我们把一个数据块在3个DataNode节点都成功的备份后，他们将给NameNode发送一个“Block Received”报告。并向通道返回“Success”消息，然后关闭TCP连接。Client收到“成功接收”的消息后会报告给NameNode数据已成功接收。NameNode将会更新其元数据中的节点位置信息。Client将会开启下一个数据块的处理通道，直到所有的数据块都写入DataNode节点。

### 读流程 ###

第一：从客户端来看  
![这里写图片描述][20170613095004595]  
当客户想要从HDFS读取一个文件，它再一次咨询NameNode，并要求提供文件块的位置。客户得到块列表后，该列表的DataNode会按照Hadoop定义的集群拓扑结构得出客户端的距离，然后进行重排序。客户端会选择最近的一个数据节点用TCP的50010端口读取一个块。直到当前块读取完成，它才会继续读取下一个块。

第二：从DataNode来看  
![这里写图片描述][20170613095502735]  
有些情况下，一个DataNode本身需要从HDFS中读取数据块。而NameNode的机架感知认知提供了最佳的网络行为。当DataNode询问DataNode数据块的位置时，NameNode将检查是否在同一机架中的另一个DataNode上存有该数据。如果存在，NameNode将在检索数据里提供了该DataNode在机架上的位置。该流程不需要遍历两个以上的交换机和拥挤的链接去找到另一个机架中的数据。在同一个机架上检索数据更快，数据处理就可以开始的更早，,工作完成得更快。

## 四、HDFS Shell命令 ##

### 1、hadoop fs 和hadoop dfs ###

fs是文件系统， dfs是分布式文件系统。从使用范围上来看，fs > dfs。在分布式环境情况下，fs与dfs无区别。但是在本地环境中，fs就是本地文件，dfs就不能用了。因为FS涉及到一个通用的文件系统，可以指向任何的文件系统如local，HDFS等。但是DFS仅是针对HDFS的。

### 2、文件操作 ###

*  1）列出HDFS文件  
    通过”-ls”命令列出HDFS下的文件：

hadoop fs -ls /

执行结果如图所示。在这里需要注意：在HDFS中未带参数的”-ls”命名没有返回任何值，它默认返回HDFS的”home”目录下的内容。在HDFS中，没有`当前目录`这样一个概念，也没有cd这个命令。  
![这里写图片描述][20170613102333531]

*  2）列出HDFS目录下某个文档中的文件  
    通过”-ls 文件名”命令浏览HDFS下名为”input”的文档中文件：

hadoop fs -ls /input

执行结果如图所示。  
![这里写图片描述][20170613102650347]

*  3）上传文件到HDFS

hadoop fs -put /usr/local/test3.txt /input

该命令可以把本地文件中的`/usr/local/test3.txt`上传到HDFS的input目录下。  
执行结果如图所示。在执行”-put”时只有两种可能，即是执行成功和执行失败。在上传文件时，文件首先复制到DataNode上。只有所有的DataNode都成功接收完数据，文件上传才是成功的。其他情况（如文件上传终端等）对HDFS来说都是做了无用功。  
![这里写图片描述][20170613103517928]  
成功上传file到HDFS  
![这里写图片描述][20170613103355380]

*  4）将HDFS中文件复制到本地系统中

hadoop fs –get HDFSFile  LocalFile

例如：

hadoop fs -get /input/test* /usr/local/input

该命令将HDFS目录中的input目录下所有test开头的文件拷贝到本地目录/usr/local/input下。执行结果如图  
![这里写图片描述][20170613104452293]  
备注：与”-put”命令一样，”-get”操作既可以操作文件，也可以操作目录。

*  5）删除HDFS下的文档

hadoop fs –rmr file

删除input目录下的test1.txt可用如下命令：  
![这里写图片描述][20170613104717203]

*  6）查看HDFS下某个文件

hadoop fs -cat /input/test2.txt

![这里写图片描述][SouthEast]

“hadoop fs”的命令远不止这些，输入`hadoop fs`即可查看所有可操作命令。  
![这里写图片描述][20170613105743282]  
![这里写图片描述][20170613105826360]

### 3、管理与更新 ###

*  1）报告HDFS的基本统计情况  
    通过”-report”命令查看HDFS的基本统计信息：

hdfs dfsadmin -report

执行结果如图  
![这里写图片描述][20170613110352911]  
![这里写图片描述][20170613110410130]  
![这里写图片描述][20170613110425648]

*  2）退出安全模式  
    NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。安全模式的目的是在系统启动时检查各个DataNode上数据块的有效性，同时根据策略对数据块进行必要的复制或删除，当数据块最小百分比数满足的最小副本数条件时，会自动退出安全模式。系统显示”Name node is in safe mode”，说明系统正处于安全模式，这时只需要等待17秒即可，也可以通过下面的命令退出安全模式：

hdfs dfsadmin -safemode leave

*  3）进入安全模式  
    在必要情况下，可以通过以下命令把HDFS置于安全模式：

hdfs dfsadmin –safemode enter

*  4）添加节点  
    可扩展性是HDFS的一个重要特性，向HDFS集群中添加节点是很容易实现的。添加一个新的DataNode节点，首先在新加节点上安装好Hadoop，要和NameNode使用相同的配置（可以直接从NameNode复制），加入NameNode主机名。然后在NameNode节点上加入新节点主机名，再建立到新加点无密码的SSH连接，运行启动命令：

start-all.sh

*  5）负载均衡  
    HDFS的数据在各个DataNode中的分布可能很不均匀，尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布的不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布：

start-balancer.sh

更多HDFS的shell命令请参考相关文档。

## 五、HDFS API详解 ##

### 1、概述 ###

Hadoop中关于文件操作类基本上全部在”org.apache.hadoop.fs”包中，这些API能够支持的操作包含：文件的增删改查等。  
Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个：

static FileSystem get(URI uri,Configuration conf);

该类封装了几乎所有的文件操作，例如mkdir，delete等。

### 2、API详解 ###

我们通过FileSystem对象可以很方便的实现对HDFS文件的增删改查，如下：

package com.kang;
    
    import java.io.FileInputStream;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileStatus;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    
    public class FileSystemApp {
        
    
        private static final String HDFS_PATH = "hdfs://sparkproject1:9000/root/";
        private static final String HDFS_DIR = "/testdir/dir1";
    
        public static void main(String[] args) throws Exception {
            FileSystem fs = getFileSystem();
    
            // 01.创建文件夹 对应shell：mkdir
            createDirectory(fs);
    
            // 02.删除文件 对应shell：hadoop fs -rm(r) xxx
            deleteFile(fs);
    
            // 03.上传文件 对应shell：hadoop fs -input xxx
            uploadFile(fs);
    
            // 04.下载文件 对应shell：hadoop fs -get xxx xxx
            downloadFile(fs);
    
            // 05.浏览文件夹 对应shell：hadoop fs -lsr /
            listFiles(fs, "/root");
        }
    
        //获取FileSystem对象，这里指定了URI地址。
        //Configuration默认读取core-site.xml配置文件。 若未提供该文件，则返回的是本地文件系统
        private static FileSystem getFileSystem() throws IOException, URISyntaxException {
            return FileSystem.get(new URI(HDFS_PATH), new Configuration());
        }
        //创建目录
        private static void createDirectory(FileSystem fs) throws IOException {
            fs.mkdirs(new Path(HDFS_DIR));
            System.out.println("Create Directory:" + HDFS_DIR + " Success!");
        }
        //删除文件或者目录
        private static void deleteFile(FileSystem fs) throws IOException {
            fs.delete(new Path(HDFS_DIR), true);
            //当删除空文件或者目录时，第二个参数忽略。
            //要删除非空的文件或者目录，第二个参数需指定为true，否则抛出异常。
            System.out.println("Delete File:" + HDFS_DIR + " Success!");
        }
    
        private static void uploadFile(FileSystem fs) throws IOException {
            //定义HDFS的输出流（向HDFS写数据）
            final FSDataOutputStream out = fs.create(new Path(HDFS_PATH + "testFile.txt"));
            //定义本地系统的输入流（从本地系统上读数据）,对于windows系统，本地文件绝对路径注意文件路径的"\"要用转义"\\"
            final FileInputStream in = new FileInputStream("E:\\testFile.txt");
            IOUtils.copyBytes(in, out, 1024, true);//1024表示复制缓冲区的大小，true表示复制完成后关闭数据流。
            System.out.println("Upload File Success!");
        }
    
        private static void downloadFile(FileSystem fs) throws IOException {
            //定义HDFS的输入流（从HDFS上读数据）
            final FSDataInputStream in = fs.open(new Path(HDFS_PATH + "testFile.txt"));
            定义本地系统的输出流（向本地系统写数据）
            final FileOutputStream out = new FileOutputStream("D:\\testFile.txt");
            IOUtils.copyBytes(in, out, 1024, true);
            System.out.println("Download File Success!");
        }
    
        private static void listFiles(FileSystem fs, String para) throws IOException {
            // FileStatus类封装了文件系统中文件和目录的元数据，包括文件的长度，块大小，
            // 副本，修改时间，所有者和许可信息等。
            final FileStatus[] listStatus = fs.listStatus(new Path(para));
            for (FileStatus fileStatus : listStatus) {
                //判断当前对象是否是目录
                String isDir = fileStatus.isDir() ? "Directory" : "File";
                String permission = fileStatus.getPermission().toString();//获取权限信息
                short replication = fileStatus.getReplication();//获取副本数目
                long length = fileStatus.getLen();//获取文件大小
                String path = fileStatus.getPath().toString();//获取文件目录
                System.out.println(isDir + "\t" + permission + "\t" + replication + "\t" + length + "\t" + path);
    
                if (isDir.equals("Directory")) {
                    listFiles(fs, path);//递归
                }
            }
        }
    
    }

程序运行结果如下：

Create Directory:/testdir/dir1 Success!
    Delete File:/testdir/dir1 Success!
    Upload File Success!
    Download File Success!
    Directory   rwxr-xr-x   0   0   hdfs://sparkproject1:9000/root/input
    File    rw-r--r--   3   27  hdfs://sparkproject1:9000/root/input/test1.txt
    File    rw-r--r--   3   25  hdfs://sparkproject1:9000/root/input/test2.txt
    File    rw-r--r--   3   12  hdfs://sparkproject1:9000/root/testFile.txt

[20170612223535185]: /images/20220614/581cfc674dfe4ad69e92c586c8da27dd.png
[20170612230430532]: /images/20220614/f2a81c2404004ff79dfae4387b677e71.png
[20170612230207215]: /images/20220614/d7a988d9ca45427d84954f35855b0665.png
[20170613000329050]: /images/20220614/e86d7a25b7644b839d2203660fb8eeb2.png
[20170613000443560]: /images/20220614/e8d9f398e10c4968bba7e16ccbb1337c.png
[20170612233014026]: /images/20220614/ae114539492045648711d6e092a7541c.png
[20170612233649091]: /images/20220614/aab778b1436941d7aef78ebd487fdf94.png
[20170612234039628]: /images/20220614/ca90e412374a4e0baf6dec3bf593f3a1.png
[20170612234855865]: /images/20220614/710560578fd1491e9614d6edd913a43e.png
[20170612235753104]: /images/20220614/e42122f5176a4414ac865ff28fa568fa.png
[20170613095004595]: /images/20220614/047256e5dddf406bb64d92e267bf7407.png
[20170613095502735]: /images/20220614/827a0b6343b1488491e61b9c34afb583.png
[20170613102333531]: /images/20220614/3d94721c187e484cae47fb51f6fbfbb2.png
[20170613102650347]: /images/20220614/f10c3532fd9c4d7091a4890f7098bc33.png
[20170613103517928]: /images/20220614/2008c67a0fae4a588b25553d3cc69d55.png
[20170613103355380]: /images/20220614/b226f9443b014f8da7bf9beecb57f4ed.png
[20170613104452293]: /images/20220614/2d2aaa94bf844a34ad0929ab94989dea.png
[20170613104717203]: /images/20220614/1c9ac709171e43f1b8173cc76c1221cd.png
[SouthEast]: /images/20220614/0f4a5262dc4d4c12846ac148d84f0f67.png
[20170613105743282]: /images/20220614/8b490240db3b405e8183c1875012c3b5.png
[20170613105826360]: /images/20220614/6a5783ad2d79425b80c63ca11e62e553.png
[20170613110352911]: /images/20220614/1127985e473347dead696b296c1a5260.png
[20170613110410130]: /images/20220614/e94a51eef76446b594c0fdb1e214b356.png
[20170613110425648]: /images/20220614/1d07bb7df2e14dbdbfda8554d1215f2e.png