HDFS读数据流程【重要】

骑猪看日落 2023-10-14 11:58 55阅读 0赞

![up-9893a8fb6c431b9aca3fa02b450ba22329b.png][]

Configuration conf = new Configuration();  
        FileSystem fs = FileSystem.get(conf);  
        Path file = new Path("demo.txt");  
        FSDataInputStream inStream = fs.open(file);  
        String data = inStream.readUTF();  
        System.out.println(data);  
        inStream.close();

1.首先， 客户端通过 DistributedFileSystem 向NameNode请求 下载文件 。

2.NameNode收到请求之后会检查用户权限以及是否存在这个文件，如果符合则会返回目标文件的元数据给客户端。

3.接着，客户端调用FSDataInputStream的read（）方法开始请求读取数据。 客户端会 挑选一台最近的DataNode来读取数据，如果客户端本身就是DataNode，那么将从本地直接获取数据。

4.DataNode开始传输数据给客户端，每传输完一个block都会进行checksum验证（ 以 P acket为单位来做校验 ） ， 当此数据块读取完毕时，FSDataInputStream会关闭和此数据结点的连接，然后连接此文件下一个数据块的最近的数据节点。

5. 客户端以 P acket为单位接收，先在本地缓存，然后写入目标文件。

6.当客户端读取完毕数据的时候，会调用FSDataInputStream的close（）方法关闭流对象。

6.在读取数据的过程中，如果客户端在与数据节点通信时出现错误，客户端会通知Namenode，并  尝试连接包含此数据块的下一个数据节点，失败的数据节点会被记录，此后不再连接。。

> 读数据流程视频讲解： [ 58\_尚硅谷\_Hadoop\_HDFS\_读数据流程\_哔哩哔哩\_bilibili ][58_Hadoop_HDFS_bilibili]

[up-9893a8fb6c431b9aca3fa02b450ba22329b.png]: https://oscimg.oschina.net/oscnet/up-9893a8fb6c431b9aca3fa02b450ba22329b.png
[58_Hadoop_HDFS_bilibili]: https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fwww.bilibili.com%2Fvideo%2FBV1Qp4y1n7EN%3Fp%3D58