hadoop集群中一些默认的端口和配置大全

矫情吗；* 2022-05-27 01:51 313阅读 0赞

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。

这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:

<table style=""> 
 <tbody style=""> 
 <tr style=""> 
 <td style=""> 组件 </td> 
 <td style=""> 节点 </td> 
 <td style=""> 默认端口 </td> 
 <td style=""> 配置 </td> 
 <td style=""> 用途说明 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> DataNode </td> 
 <td style=""> 50010 </td> 
 <td style=""> dfs.datanode.address </td> 
 <td style=""> datanode服务端口，用于数据传输 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> DataNode </td> 
 <td style=""> 50075 </td> 
 <td style=""> dfs.datanode.http.address </td> 
 <td style=""> http服务的端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> DataNode </td> 
 <td style=""> 50475 </td> 
 <td style=""> dfs.datanode.https.address </td> 
 <td style=""> https服务的端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> DataNode </td> 
 <td style=""> 50020 </td> 
 <td style=""> dfs.datanode.ipc.address </td> 
 <td style=""> ipc服务的端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> NameNode </td> 
 <td style=""> 50070 </td> 
 <td style=""> dfs.namenode.http-address </td> 
 <td style=""> http服务的端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> NameNode </td> 
 <td style=""> 50470 </td> 
 <td style=""> dfs.namenode.https-address </td> 
 <td style=""> https服务的端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> NameNode </td> 
 <td style=""> 8020 </td> 
 <td style=""> fs.defaultFS </td> 
 <td style=""> 接收Client连接的RPC端口，用于获取文件系统metadata信息。 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> journalnode </td> 
 <td style=""> 8485 </td> 
 <td style=""> dfs.journalnode.rpc-address </td> 
 <td style=""> RPC服务 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> journalnode </td> 
 <td style=""> 8480 </td> 
 <td style=""> dfs.journalnode.http-address </td> 
 <td style=""> HTTP服务 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HDFS </td> 
 <td style=""> ZKFC </td> 
 <td style=""> 8019 </td> 
 <td style=""> dfs.ha.zkfc.port </td> 
 <td style=""> ZooKeeper FailoverController，用于NN HA </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> ResourceManager </td> 
 <td style=""> 8032 </td> 
 <td style=""> yarn.resourcemanager.address </td> 
 <td style=""> RM的applications manager(ASM)端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> ResourceManager </td> 
 <td style=""> 8030 </td> 
 <td style=""> yarn.resourcemanager.scheduler.address </td> 
 <td style=""> scheduler组件的IPC端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> ResourceManager </td> 
 <td style=""> 8031 </td> 
 <td style=""> yarn.resourcemanager.resource-tracker.address </td> 
 <td style=""> IPC </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> ResourceManager </td> 
 <td style=""> 8033 </td> 
 <td style=""> yarn.resourcemanager.admin.address </td> 
 <td style=""> IPC </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> ResourceManager </td> 
 <td style=""> 8088 </td> 
 <td style=""> yarn.resourcemanager.webapp.address </td> 
 <td style=""> http服务端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> NodeManager </td> 
 <td style=""> 8040 </td> 
 <td style=""> yarn.nodemanager.localizer.address </td> 
 <td style=""> localizer IPC </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> NodeManager </td> 
 <td style=""> 8042 </td> 
 <td style=""> yarn.nodemanager.webapp.address </td> 
 <td style=""> http服务端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> NodeManager </td> 
 <td style=""> 8041 </td> 
 <td style=""> yarn.nodemanager.address </td> 
 <td style=""> NM中container manager的端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> JobHistory Server </td> 
 <td style=""> 10020 </td> 
 <td style=""> mapreduce.jobhistory.address </td> 
 <td style=""> IPC </td> 
 </tr> 
 <tr style=""> 
 <td style=""> YARN </td> 
 <td style=""> JobHistory Server </td> 
 <td style=""> 19888 </td> 
 <td style=""> mapreduce.jobhistory.webapp.address </td> 
 <td style=""> http服务端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HBase </td> 
 <td style=""> Master </td> 
 <td style=""> 60000 </td> 
 <td style=""> hbase.master.port </td> 
 <td style=""> IPC </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HBase </td> 
 <td style=""> Master </td> 
 <td style=""> 60010 </td> 
 <td style=""> hbase.master.info.port </td> 
 <td style=""> http服务端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HBase </td> 
 <td style=""> RegionServer </td> 
 <td style=""> 60020 </td> 
 <td style=""> hbase.regionserver.port </td> 
 <td style=""> IPC </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HBase </td> 
 <td style=""> RegionServer </td> 
 <td style=""> 60030 </td> 
 <td style=""> hbase.regionserver.info.port </td> 
 <td style=""> http服务端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HBase </td> 
 <td style=""> HQuorumPeer </td> 
 <td style=""> 2181 </td> 
 <td style=""> hbase.zookeeper.property.clientPort </td> 
 <td style=""> HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HBase </td> 
 <td style=""> HQuorumPeer </td> 
 <td style=""> 2888 </td> 
 <td style=""> hbase.zookeeper.peerport </td> 
 <td style=""> HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> HBase </td> 
 <td style=""> HQuorumPeer </td> 
 <td style=""> 3888 </td> 
 <td style=""> hbase.zookeeper.leaderport </td> 
 <td style=""> HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> Hive </td> 
 <td style=""> Metastore </td> 
 <td style=""> 9083 </td> 
 <td style=""> /etc/default/hive-metastore中export PORT=&lt;port&gt;来更新默认端口 </td> 
 <td style="">&nbsp;</td> 
 </tr> 
 <tr style=""> 
 <td style=""> Hive </td> 
 <td style=""> HiveServer </td> 
 <td style=""> 10000 </td> 
 <td style=""> /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=&lt;port&gt;来更新默认端口 </td> 
 <td style="">&nbsp;</td> 
 </tr> 
 <tr style=""> 
 <td style=""> ZooKeeper </td> 
 <td style=""> Server </td> 
 <td style=""> 2181 </td> 
 <td style=""> /etc/zookeeper/conf/zoo.cfg中clientPort=&lt;port&gt; </td> 
 <td style=""> 对客户端提供服务的端口 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> ZooKeeper </td> 
 <td style=""> Server </td> 
 <td style=""> 2888 </td> 
 <td style=""> /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 </td> 
 <td style=""> follower用来连接到leader，只在leader上监听该端口。 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> ZooKeeper </td> 
 <td style=""> Server </td> 
 <td style=""> 3888 </td> 
 <td style=""> /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 </td> 
 <td style=""> 用于leader选举的。只在electionAlg是1,2或3(默认)时需要。 </td> 
 </tr> 
 </tbody> 
</table>

所有端口协议均基于TCP。

对于存在Web UI（HTTP服务）的所有hadoop daemon，有如下url：

/logs  
日志文件列表，用于下载和查看

/logLevel  
允许你设定log4j的日志记录级别，类似于hadoop daemonlog

/stacks  
所有线程的stack trace，对于debug很有帮助

/jmx  
服务端的Metrics，以JSON格式输出。

/jmx?qry=Hadoop:\*会返回所有hadoop相关指标。  
/jmx?get=MXBeanName::AttributeName 查询指定bean指定属性的值，例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId会返回ClusterId。  
这个请求的处理类：org.apache.hadoop.jmx.JMXJsonServlet

而特定的Daemon又有特定的URL路径特定相应信息。

NameNode:http://:50070/

/dfshealth.jsp  
HDFS信息页面，其中有链接可以查看文件系统

/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)  
显示DEAD或LIVE状态的datanode

/fsck  
运行fsck命令，不推荐在集群繁忙时使用！

DataNode:http://:50075/

/blockScannerReport  
每个datanode都会指定间隔验证块信息

补充一些内容：

*  需要知道的默认配置

在Hadoop 2.2.0中，YARN框架有很多默认的参数值，如果你是在机器资源比较不足的情况下，需要修改这些默认值，来满足一些任务需要。  
NodeManager和ResourceManager都是在yarn-site.xml文件中配置的，而运行MapReduce任务时，是在mapred-site.xml中进行配置的。  
下面看一下相关的参数及其默认值情况：

<table style=""> 
 <tbody style=""> 
 <tr style=""> 
 <td style=""> 参数名称 </td> 
 <td style=""> 默认值 </td> 
 <td style=""> 进程名称 </td> 
 <td style=""> 配置文件 </td> 
 <td style=""> 含义说明 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> yarn.nodemanager.resource.memory-mb </td> 
 <td style=""> 8192 </td> 
 <td style=""> NodeManager </td> 
 <td style=""> yarn-site.xml </td> 
 <td style=""> 从节点所在物理主机的可用物理内存总量 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> yarn.nodemanager.resource.cpu-vcores </td> 
 <td style=""> 8 </td> 
 <td style=""> NodeManager </td> 
 <td style=""> yarn-site.xml </td> 
 <td style=""> 节点所在物理主机的可用虚拟CPU资源总数（core） </td> 
 </tr> 
 <tr style=""> 
 <td style=""> yarn.nodemanager.vmem-pmem-ratio </td> 
 <td style=""> 2.1 </td> 
 <td style=""> NodeManager </td> 
 <td style=""> yarn-site.xml </td> 
 <td style=""> 使用1M物理内存，最多可以使用的虚拟内存数量 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> yarn.scheduler.minimum-allocation-mb </td> 
 <td style=""> 1024 </td> 
 <td style=""> ResourceManager </td> 
 <td style=""> yarn-site.xml </td> 
 <td style=""> 一次申请分配内存资源的最小数量 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> yarn.scheduler.maximum-allocation-mb </td> 
 <td style=""> 8192 </td> 
 <td style=""> ResourceManager </td> 
 <td style=""> yarn-site.xml </td> 
 <td style=""> 一次申请分配内存资源的最大数量 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> yarn.scheduler.minimum-allocation-vcores </td> 
 <td style=""> 1 </td> 
 <td style=""> ResourceManager </td> 
 <td style=""> yarn-site.xml </td> 
 <td style=""> 一次申请分配虚拟CPU资源最小数量 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> yarn.scheduler.maximum-allocation-vcores </td> 
 <td style=""> 8 </td> 
 <td style=""> ResourceManager </td> 
 <td style=""> yarn-site.xml </td> 
 <td style=""> 一次申请分配虚拟CPU资源最大数量 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> mapreduce.framework.name </td> 
 <td style=""> local </td> 
 <td style=""> MapReduce </td> 
 <td style=""> mapred-site.xml </td> 
 <td style=""> 取值local、classic或yarn其中之一，如果不是yarn，则不会使用YARN集群来实现资源的分配 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> mapreduce.map.memory.mb </td> 
 <td style=""> 1024 </td> 
 <td style=""> MapReduce </td> 
 <td style=""> mapred-site.xml </td> 
 <td style=""> 每个MapReduce作业的map任务可以申请的内存资源数量 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> mapreduce.map.cpu.vcores </td> 
 <td style=""> 1 </td> 
 <td style=""> MapReduce </td> 
 <td style=""> mapred-site.xml </td> 
 <td style=""> 每个MapReduce作业的map任务可以申请的虚拟CPU资源的数量 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> mapreduce.reduce.memory.mb </td> 
 <td style=""> 1024 </td> 
 <td style=""> MapReduce </td> 
 <td style=""> mapred-site.xml </td> 
 <td style=""> 每个MapReduce作业的reduce任务可以申请的内存资源数量 </td> 
 </tr> 
 <tr style=""> 
 <td style=""> yarn.nodemanager.resource.cpu-vcores </td> 
 <td style=""> 8 </td> 
 <td style=""> MapReduce </td> 
 <td style=""> mapred-site.xml </td> 
 <td style=""> 每个MapReduce作业的reduce任务可以申请的虚拟CPU资源的数量 </td> 
 </tr> 
 </tbody> 
</table>