HDFS Short-Circuit Local Reads

刺骨的言语ヽ痛彻心扉 2024-03-25 23:45 20阅读 0赞

#### 文章目录 ####

*  1、背景
 *  2、配置
 *   *  2.1 检测是否启用libhadoop.so
     *  2.2 设置套接字路径
     *  2.3 配置示例
     *   *  2.4.1 /var/lib/hadoop-hdfs目录未创建
         *  2.4.2 创建 /var/lib/hadoop-hdfs
     *  2.4 重启hdfs，观察日志看Short-Circuit Local Reads是否启用
 *  3、测试下载文件是否是 Short-Circuit Local Reads
 *   *  3.1 上传文件
     *  3.2 检测刚上传的文件分布在那几个机器上
     *  3.3 下载文件
 *  4、参考链接

## 1、背景 ##

在`HDFS`中，读取操作通常是通过`DataNode`。因此，当客户端要读取文件时，DataNode  
会从磁盘上读取文件，然后通过`TCP套接字`将数据发送给客户端。**如果我们的客户端和数据在同一台机器上的时候，** 那么是否可以绕过DataNode，允许客户端直接读取数据呢？通过`Short-Circuit Local Reads`可以实现这一功能。

## 2、配置 ##

### 2.1 检测是否启用libhadoop.so ###

如果我们要使用`Short-Circuit Local Reads`，那么需要保证我们的 `hadoop`启用了`libhadoop.so`，可以通过`hadoop checknative`命令来执行检查。

![检测是否启用libhadoop.so][libhadoop.so]

### 2.2 设置套接字路径 ###

*  `Short-Circuit Local Reads` 利用 `Unix domain socket`，这是文件系统中的一个特殊路径，允许客户端和 DataNodes 进行通信。您需要`设置到此套接字的路径`，并且DataNode 需要能够创建此路径。另一方面，`除了 hdfs 用户或 root 用户之外，任何用户都不可能创建这个路径`。因此，通常使用/var/run 或/var/lib 下的路径。
 *  `客户端和 DataNode 通过/dev/shm 上的共享内存段交换信息`，短路本地读取需要在 DataNode 和客户机上配置。

### 2.3 配置示例 ###

`vim hdfs-site.xml`

<configuration>
      	
      <property>
        <name>dfs.client.read.shortcircuit</name>
        <value>true</value>
      </property>
      
      <property>
        <name>dfs.domain.socket.path</name>
        <value>/var/lib/hadoop-hdfs/dn_socket</value>
      </property>
    </configuration>

#### 2.4.1 /var/lib/hadoop-hdfs目录未创建 ####

`/var/lib/hadoop-hdfs` 这个`目录需要提前创建`，否则可能出现如下错误。  
![/var/lib/hadoop-hdfs目录需要提前创建][var_lib_hadoop-hdfs]

#### 2.4.2 创建 /var/lib/hadoop-hdfs ####

[hadoopdeploy@hadoop01 ~]$ sudo mkdir /var/lib/hadoop-hdfs
    [hadoopdeploy@hadoop01 hadoop]$ sudo chown hadoopdeploy:hadoopdeploy -R /var/lib/hadoop-hdfs

`需要注意目录权限问题`

### 2.4 重启hdfs，观察日志看Short-Circuit Local Reads是否启用 ###

![观察日志看Short-Circuit Local Reads是否启用][Short-Circuit Local Reads]  
观察日志，发现出现了`2023-03-23 21:41:42,321 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Listening on UNIX domain socket: /var/lib/hadoop-hdfs/dn_socket`说明 Short-Circuit Local Reads 启用了。

## 3、测试下载文件是否是 Short-Circuit Local Reads ##

### 3.1 上传文件 ###

# 上传文件
    [hadoopdeploy@hadoop01 logs]$ hadoop fs -put /etc/profile /profile.txt

### 3.2 检测刚上传的文件分布在那几个机器上 ###

![检测刚上传的文件分布在那几个机器上][08331c96c81a436b82cd6ac264218f2b.png]

### 3.3 下载文件 ###

`从上图中可以，我们的文件分别存储在 140和141上`，此处我们从`140`上下载文件并观察日志  
![下载文件][d0cf233fe5b945df9e5380ca883a3a64.png]

## 4、参考链接 ##

1、[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/ShortCircuitLocalReads.html][https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_ShortCircuitLocalReads.html]

[libhadoop.so]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/cb4033a24585423ebe35ffb04729c9b8.png
[var_lib_hadoop-hdfs]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d0a37e1f9ac1427fbd24fb814e2743a6.png
[Short-Circuit Local Reads]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/2bf3dffc4fda4ee9a5f237c0ace4fc65.png
[08331c96c81a436b82cd6ac264218f2b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/54b93f9e348f4263b08a1b57f0ce7b4c.png
[d0cf233fe5b945df9e5380ca883a3a64.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/59cead0552784a3699d844659a5f65c3.png
[https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_ShortCircuitLocalReads.html]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/ShortCircuitLocalReads.html