HFTP Guide

绝地灬酷狼 2022-08-17 15:11 167阅读 0赞

# HFTP Guide #

## Introduction ##

HDFS是一个可以让你从远程HDFS集群读取数据的Hadoop文件系统的实现。数据读取通过HTTP，数据都在DataNode上。HFTP是一个只读的文件系统，如果你试图用它写或者修改文件系统的状态，将会抛出一个错误。

如果你用多个不同版本的HDFS集群，然后你需要在集群之间移动数据的话，HFTP是非常有用的。HFTP在不同HDFS版本之间都是兼容的。例如，你可以使用命令hadoopdistcp -i hftp://sourceFS:50070/src hdfs://destFS:50070/dest。注意，HFTP是只读的，因此，目的路径必须是一HDFS文件系统。（在这个例子中，distcp应该用新文件系统的配置运行）

一个扩展，HSFTP，默认使用HTTPS。这意味着数据在传输时将被加密。

## Implementation ##

HFTP的实现类是org.apache.hadoop.hdfs.HftpFileSystem。同样的，HSFTP的实现是org.apache.hadoop.hdfs.HsftpFileSystem。

## Configuration Options ##

<table> 
 <tbody> 
  <tr> 
   <td style="background-color:rgb(238,238,238)"> <p><span style="color:rgb(51,51,51)">dfs.hftp.https.port</span></p> </td> 
   <td style="background-color:rgb(238,238,238)"> <p><span style="color:rgb(51,51,51)">the HTTPS port on the remote cluster. If not set, HFTP will fall back on</span><span style="color:rgb(51,51,51)">dfs.https.port</span><span style="color:rgb(51,51,51)">.</span></p> </td> 
  </tr> 
  <tr> 
   <td style="background-color:rgb(223,227,219)"> <p><span style="color:rgb(51,51,51)">hdfs.service.host_ip:port</span></p> </td> 
   <td style="background-color:rgb(223,227,219)"> <p><span style="color:rgb(51,51,51)">Specifies the service name (for the security subsystem) associated with the HFTP filesystem running at ip:port.</span></p> </td> 
  </tr> 
 </tbody> 
</table>

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS Permissions Guide

HDFS Permission Guide Overview HDFS实现了一个文件和目录权限模型，拥有很多POXIS模型的影子。每个文件和目录与一个所有者和一个用

深碍√TFBOYSˉ_/ 2022年08月17日 15:11/ 0 赞/ 144 阅读

相关 HFTP Guide

HFTP Guide Introduction HDFS是一个可以让你从远程HDFS集群读取数据的Hadoop文件系统的实现。数据读取通过HTTP，数据都在Data

绝地灬酷狼/ 2022年08月17日 15:11/ 0 赞/ 168 阅读

相关 ViewFs Guide

简介文件浏览系统（ViewFs）提供了一个管理多个Hadoop文件系统命名空间（或者叫Namespace Volume）的方式。它对于有多个NameNode的联邦集群特

Myth丶恋晨/ 2022年08月17日 15:11/ 0 赞/ 164 阅读

相关 ActiveAndroid Guide

转自： http://guides.codepath.com/android/ActiveAndroid-Guide ActiveAndroid Guid

约定不等于承诺〃/ 2022年08月03日 03:24/ 0 赞/ 206 阅读

相关生成guid

[JavaScript生成GUID的算法][JavaScript_GUID] 全局唯一标识符（GUID，Globally Unique Identifier）也称作

缺乏、安全感/ 2022年06月01日 08:13/ 0 赞/ 218 阅读

相关 Oracle guid

在oracle8i以后提供了一个生成不重复的数据的一个函数sys\_guid()一共32位，生成的依据主要是时间和机器码，具有世界唯一性，类似于java中的UUID（都是世界唯

刺骨的言语ヽ痛彻心扉/ 2022年05月15日 03:42/ 0 赞/ 234 阅读

相关 ViewFs Guide

简介文件浏览系统（ViewFs）提供了一个管理多个Hadoop文件系统命名空间（或者叫Namespace Volume）的方式。它对于有多个NameNode的联邦集群特

桃扇骨/ 2022年04月25日 06:46/ 0 赞/ 146 阅读

相关 js生成guid

全局唯一标识符（GUID，Globally Unique Identifier）也称作 UUID(Universally Unique IDentifier) 。 GUID是

╰+哭是因爲堅強的太久メ/ 2021年12月21日 15:49/ 0 赞/ 214 阅读

相关 LabVIEW Style Guide

LabVIEW Style Guide Describes recommended practices for good programming technique

柔光的暖阳◎/ 2021年12月20日 22:45/ 0 赞/ 400 阅读

相关 java GUID生成器产生随机GUID的方法

package test; import java.net.; import java.util.; import java

r囧r小猫/ 2021年07月25日 02:58/ 0 赞/ 507 阅读