配置HDFS HttpFS和WebHDFS

落日映苍穹つ 2022-09-12 08:58 260阅读 0赞

**HDFS支持两种RESTful接口：WebHDFS和HttpFS。**  
WebHDFS默认端口号为50070，HttpFS默认端口号为14000。  
默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。  
WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。对于Hue，如果HDFS是HA方式部署的，则只能使用HttpFS模式。  
HttpFS是独立的模块，有自己的配置文件httpfs-site.xml、环境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties，需独立启动。  
而WebHDFS是HDFS内置模块，无自己的配置文件、环境配置文件和日志配置文件，随HDFS而启动。

WebHDFS配置，在core-site.xml中加入以下内容：  
  
hadoop.proxyuser. u s e r n a m e . h o s t s < / n a m e > < v a l u e > ∗ < / v a l u e > < / p r o p e r t y > < p r o p e r t y > < n a m e > h a d o o p . p r o x y u s e r . username.hosts</name> <value>\*</value> </property> <property> <name>hadoop.proxyuser. username.hosts</name><value>∗</value></property><property><name>hadoop.proxyuser.groupname.groups  
\*  
  
“`$username`”的值为启动HDFS的用户名，“`$groupname`”为启动HDFS的用户组名。

HttpFS配置，在core-site.xml中加入以下内容：  
  
hadoop.proxyuser.httpfs.hosts  
  
  
  
hadoop.proxyuser.httpfs.groups

对于HttpFS，还需要在httpfs-site.xml中加入以下内容：

<property>
        <name>httpfs.proxyuser.$username.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>httpfs.proxyuser.$groupname.groups</name>
        <value>*</value>
    </property>

“`$username`”的值为启动HttpFS的用户名，“`$groupname`”为启动HttpFS的用户组名。

环境配置文件httpfs-env.sh可以不用修改，直接使用默认的值，当使用sbin/httpfs.sh start来启动HttpFS时会屏幕输出HTTPFS\_HOME等值。

参考链接：  
https://www.cnblogs.com/aquester/p/9891518.html  
https://www.cnblogs.com/itboys/p/8552784.html

发表评论取消回复

表情：

评论列表（有 0 条评论，260人围观）

还没有评论，来说两句吧...

相关阅读

相关 HUE配置HDFS

core-site.xml cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim core-s

约定不等于承诺〃/ 2023年10月03日 14:55/ 0 赞/ 15 阅读

相关 hdfs restful API：httpfs与webhdfs的简单使用

HttpFS和WebHDFS 通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode

朴灿烈づ我的快乐病毒、/ 2022年09月12日 08:58/ 0 赞/ 278 阅读

相关配置HDFS HttpFS和WebHDFS

HDFS支持两种RESTful接口：WebHDFS和HttpFS。 WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而

落日映苍穹つ/ 2022年09月12日 08:58/ 0 赞/ 261 阅读

相关 HDFS restful API：关于WebHDFS与HttpFS的区别

简介两者都是基于REST的HDFS API，使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问，并且client不受语言

墨蓝/ 2022年09月12日 08:58/ 0 赞/ 163 阅读

相关 Java 实现HDFS文件上传（使用webhdfs）

import net.sf.json.JSONObject; import org.slf4j.Logger; import org.slf4j.Log

系统管理员/ 2022年09月12日 08:57/ 0 赞/ 306 阅读

相关 HDFS配置Kerberos认证

HDFS配置Kerberos认证 2014.11.04 本文主要记录 CDH [Hadoop][] 集群上配置 HDFS 集成 Kerberos 的过程，包括 K

悠悠/ 2022年08月22日 11:23/ 0 赞/ 628 阅读

相关 WebHDFS REST API

Document Conventions <table style="color:rgb(51,51,51); font-family:Arial; font-size:

以你之姓@/ 2022年08月17日 15:16/ 0 赞/ 139 阅读

相关 Hadoop Hdfs 配置（一）

环境: Jdk1.6 Hadoop-2.20.1 Fuse-2.8.1 ----------------

﹏ヽ暗。殇╰゛Y/ 2022年08月13日 11:56/ 0 赞/ 195 阅读

相关 Hadoop web编程--REST API WebHDFS

<table style="word-wrap:break-word; empty-cells:show; border-collapse:collapse; table-la

怼烎@/ 2022年08月11日 09:29/ 0 赞/ 171 阅读

相关简单说说WebHDFS和HttpFS

如果你没有太多留意的话，可能会认为这两个是一个东西。虽然它们看起来很像，但是确实是两回事。 WebHDFS是HortonWorks开发的，然后捐给了Apache，可见博客：[

谁践踏了优雅/ 2022年08月04日 21:28/ 0 赞/ 189 阅读