Hadoop配置文件主要作用详解，即hadoop+hbase+zookeep配置方法（5台）

- 日理万妓 2022-07-27 10:48 210阅读 0赞

<table>       
 <tbody> 
  <tr> 
   <td>主机名</td> 
   <td>zookeeper</td> 
   <td>Hadoop</td> 
   <td>Hbase</td> 
  </tr> 
  <tr> 
   <td>gdy231</td> 
   <td>QuorumPeerMain</td> 
   <td>NameNode【名称节点】<br> DFSZKFailoverController【Hadoop Ha进程维持namenode高可用】<br> JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】<br> JobHistoryServer【可以通过该服务查看已经运行完了的作业记录】</td> 
   <td>Hmaster<br> HRegionServer</td> 
  </tr> 
  <tr> 
   <td>gdy232</td> 
   <td><br> QuorumPeerMain</td> 
   <td>NameNode【名称节点】<br> DFSZKFailoverController【Hadoop Ha进程维持namenode高可用】<br> JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】</td> 
   <td>Hmaster<br> HRegionServer</td> 
  </tr> 
  <tr> 
   <td>gdy233</td> 
   <td><br> QuorumPeerMain</td> 
   <td>JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】<br> ResourceManager【管理集群资源分配，接收NodeManager的资源汇报】<br> DataNode【数据节点】<br> NodeManager【负责在单个节点上执行MapReduce任务。】</td> 
   <td>HRegionServer</td> 
  </tr> 
  <tr> 
   <td>gdy234</td> 
   <td><br> QuorumPeerMain</td> 
   <td>JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】<br> ResourceManager【管理集群资源分配，接收NodeManager的资源汇报】<br> DataNode【数据节点】<br> NodeManager【负责在单个节点上执行MapReduce任务。】</td> 
   <td>HRegionServer</td> 
  </tr> 
  <tr> 
   <td>gdy235</td> 
   <td><br> QuorumPeerMain</td> 
   <td>JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】<br> ResourceManager【管理集群资源分配，接收NodeManager的资源汇报】<br> DataNode【数据节点】<br> NodeManager【负责在单个节点上执行MapReduce任务。】</td> 
   <td>HRegionServer</td> 
  </tr> 
 </tbody> 
</table>

<table>      
 <tbody> 
  <tr> 
   <td>配置文件：core-site.xml</td> 
  </tr> 
  <tr> 
   <td>属性</td> 
   <td>值</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>fs.defaultFS</td> 
   <td>hdfs://gdy</td> 
   <td>hadoop访问目录节点nameNode默认为：hdfs://gdy</td> 
  </tr> 
  <tr> 
   <td>hadoop.tmp.dir</td> 
   <td>/ftpftp/ogg/gdydata/hadoopData/hadooptmp</td> 
   <td>Hadoop的临时存放目录 <br> /ftpftp/ogg/gdydata/hadoopData/hadooptmp</td> 
  </tr> 
  <tr> 
   <td>ha.zookeeper.quorum</td> 
   <td>gdy231:2181,gdy232:2181,gdy233:2181,<br> gdy234:2181,gdy235:2181</td> 
   <td>Ha功能，需要一组zk地址，用逗号分隔。被ZKFailoverController使用于自动失效备援failover。</td> 
  </tr> 
  <tr> 
   <td>io.native.lib.available</td> 
   <td>TRUE</td> 
   <td>&nbsp;是否启动Hadoop的本地库，默认启用。本地库可以加快基本操作，例如IO，压缩等。</td> 
  </tr> 
 </tbody> 
</table>

<table>      
 <tbody> 
  <tr> 
   <td>配置文件：hdfs-site.xml</td> 
  </tr> 
  <tr> 
   <td>属性</td> 
   <td>值</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>hbase.rootdir</td> 
   <td>hdfs://gdy/hbase</td> 
   <td>配置hbase在HDFS文件系统中存放文件的根目录</td> 
  </tr> 
  <tr> 
   <td>dfs.nameservices</td> 
   <td>gdy</td> 
   <td>【 nameservices列表。逗号分隔。<br> &nbsp;我们常用的仅配置一个，启动federation功能需要配置多个】<br> 个人理解：gdy类似于一个变量，与之前的【hbase.rootdir】和【fs.defaultFS】关联，但这里只是声明了一个名字，为servicName的名字，可以声明多个，目前只声明一个。下面会配置这个servicName具体代表什么。</td> 
  </tr> 
  <tr> 
   <td>dfs.ha.namenodes.gdy</td> 
   <td>nn1,nn2</td> 
   <td>【 包含一个NN列表。EXAMPLENAMESERVICE是指具体的nameservice名称，通常就是dfs.nameservices中配置的。<br> &nbsp;值是预备配置的NN的ID。ID是自己取的，不重复就可以，例如nn1,nn2】<br> 个人理解：和【dfs.nameservices】差不多，类似于声明变量，但还没指定值</td> 
  </tr> 
  <tr> 
   <td>dfs.namenode.rpc-address.gdy.nn1</td> 
   <td>gdy231:9000</td> 
   <td>【ns1使用了nn1节点为对外服务地址的RPC地址】<br> 注意这里ns1已经被替换成gdy。这里是给之前nn1规定具体的值。</td> 
  </tr> 
  <tr> 
   <td>dfs.namenode.http-address.gdy.nn1</td> 
   <td>gdy231:50070</td> 
   <td>【ns1使用了nn1节点为对外服务地址的http地址】<br> 和上面类似</td> 
  </tr> 
  <tr> 
   <td>dfs.namenode.rpc-address.gdy.nn2</td> 
   <td>gdy232:9000</td> 
   <td>【ns1使用了nn2为对外服务地址的RPC地址】</td> 
  </tr> 
  <tr> 
   <td>dfs.namenode.http-address.ns1.nn2</td> 
   <td>gdy232:50070</td> 
   <td>【ns1使用了nn2为对外服务地址的http地址】</td> 
  </tr> 
  <tr> 
   <td>dfs.namenode.shared.edits.dir</td> 
   <td>qjournal://gdy231:8485;gdy232:8485;gdy233:8485;gdy234:8485;gdy235:8485/gdy</td> 
   <td>【同时把NameNode元数据和日志存放在JournalNode上】 <br> <br> 启动自动failover。自动failover依赖于zookeeper集群和ZKFailoverController（ZKFC），后者是一个zookeeper客户端，<br> &nbsp;用来监控NN的状态信息。每个运行NN的节点必须要运行一个zkfc。zkfs提供了下面的功能：<br> Health monitoring zkfc定期对本地的NN发起health-check的命令，如果NN正确返回，那么这个NN被认为是OK的。<br> &nbsp;否则被认为是失效节点。<br> ZooKeeper session management 当本地NN是健康的时候，zkfc将会在zk中持有一个session。<br> &nbsp;如果本地NN又正好是active的，那么zkfc还有持有一个”ephemeral”的节点作为锁，一旦本 地NN失效了，<br> &nbsp;那么这个节点将会被自动删除。<br> ZooKeeper-based election 如果本地NN是健康的，并且zkfc发现没有其他的NN持有那个独占锁。<br> &nbsp;那么他将试图去获取该锁，一旦成功，那么它就需要执行Failover，然后成为active的NN节点。<br> Failover的过程是：第一步，对之前的NN执行fence，如果需要的话。第二步，将本地NN转换到active状态。<br> 启动zkfc的方法如下：hadoop-daemon.sh start zkfc。通过start-dfs.sh会自动启动该进程，一般无需手动起停。</td> 
  </tr> 
  <tr> 
   <td>dfs.journalnode.edits.dir</td> 
   <td>/ftpftp/ogg/gdydata/hadoopData/hadoopedits</td> 
   <td>配置edits数据存放位置</td> 
  </tr> 
  <tr> 
   <td>dfs.namenode.name.dir</td> 
   <td>/ftpftp/ogg/gdydata/hadoopData/hadoopname</td> 
   <td>NN存放元数据和日志位置</td> 
  </tr> 
  <tr> 
   <td>dfs.datanode.data.dir</td> 
   <td>/ftpftp/ogg/gdydata/hadoopData/hadoopdata</td> 
   <td>配置hdfs每个数据节点存放位置</td> 
  </tr> 
  <tr> 
   <td>dfs.replication</td> 
   <td>3</td> 
   <td>配置系统自动数据备份数量为3份（默认是3份）</td> 
  </tr> 
  <tr> 
   <td>dfs.ha.automatic-failover.enabled</td> 
   <td>TRUE</td> 
   <td>是否开启自动故障转移。建议开启，true&nbsp;</td> 
  </tr> 
  <tr> 
   <td>dfs.client.failover.proxy.provider.gdy</td> 
   <td>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</td> 
   <td>client的failover代理配置</td> 
  </tr> 
  <tr> 
   <td>dfs.ha.fencing.methods</td> 
   <td>sshfence</td> 
   <td>&nbsp;HDFS的HA功能的防脑裂方法。可以是内建的方法(例如shell和sshfence)或者用户定义的方法。<br> &nbsp;建议使用sshfence(hadoop:9922)，括号内的是用户名和端口，注意，这需要NN的2台机器之间能够免密码登陆<br> fences是防止脑裂的方法，保证NN中仅一个是Active的，如果2者都是Active的，新的会把旧的强制Kill。</td> 
  </tr> 
  <tr> 
   <td>dfs.ha.fencing.ssh.private-key-files</td> 
   <td>/home/ogg/.ssh/id_rsa</td> 
   <td>&nbsp;密钥认证文件</td> 
  </tr> 
 </tbody> 
</table>

<table>      
 <tbody> 
  <tr> 
   <td>配置文件mapred-site.xml</td> 
  </tr> 
  <tr> 
   <td>属性</td> 
   <td>值</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>mapreduce.framework.name</td> 
   <td>yarn</td> 
   <td>其中，名称mapreduce.framework.name指的是使用yarn运行mapreduce程序</td> 
  </tr> 
  <tr> 
   <td>mapreduce.jobhistory.address</td> 
   <td>gdy231:10020</td> 
   <td>MapReduce JobHistory Server地址。</td> 
  </tr> 
  <tr> 
   <td>mapreduce.jobhistory.webapp.address</td> 
   <td>gdy231:19888</td> 
   <td>MapReduce JobHistory Server Web UI地址。</td> 
  </tr> 
  <tr> 
   <td>mapreduce.jobhistory.joblist.cache.size</td> 
   <td>20000</td> 
   <td>内存中缓存的historyfile文件信息(主要是job对应的 文件目录,)</td> 
  </tr> 
 </tbody> 
</table>

<table>      
 <tbody> 
  <tr> 
   <td>配置文件【slaves】</td> 
   <td>&nbsp;slaves记录的是需要执行start-all.sh（或相关命令）时，需要远程启动tasktracker与datanode的节点。</td> 
  </tr> 
  <tr> 
   <td>配置文件【masters】老版本用，新的不要了</td> 
   <td>masters记录的是需要启动secondary namenode的节点, 不是namenode，它也和mapreduce没任何关系。</td> 
  </tr> 
 </tbody> 
</table>

<table>      
 <tbody> 
  <tr> 
   <td>配置文件yarn-site.xml</td> 
  </tr> 
  <tr> 
   <td>属性</td> 
   <td>值</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>yarn.nodemanager.aux-services</td> 
   <td>mapreduce_shuffle</td> 
   <td>NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.connect.retry-interval.ms</td> 
   <td>2000</td> 
   <td>rm失联后重新链接的时间</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.ha.enabled</td> 
   <td>TRUE</td> 
   <td>启用RM高可用</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.ha.automatic-failover.enabled</td> 
   <td>TRUE</td> 
   <td>是否启用自动故障转移。默认情况下，在启用HA时，启用自动故障转移。</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.ha.automatic-failover.embedded</td> 
   <td>TRUE</td> 
   <td>启用内置的自动故障转移。默认情况下，在启用HA时，启用内置的自动故障转移。</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.cluster-id</td> 
   <td>yarn-cluster</td> 
   <td>(RM集群标识符)集群的Id，elector使用该值确保RM不会做为其它集群的active。</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.ha.rm-ids</td> 
   <td>rm1,rm2,rm3</td> 
   <td>指定两台RM主机名标识符</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.scheduler.class</td> 
   <td>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</td> 
   <td>启用的资源调度器主类。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.ha.automatic-failover.recover.enabled</td> 
   <td>TRUE</td> 
   <td>RM故障自动切换</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.hostname.rm1</td> 
   <td>gdy233</td> 
   <td>RM主机1</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.hostname.rm2</td> 
   <td>gdy234</td> 
   <td>RM主机2</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.hostname.rm3</td> 
   <td>gdy235</td> 
   <td>RM主机3</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.recovery.enabled</td> 
   <td>TRUE</td> 
   <td>RM故障自动恢复</td> 
  </tr> 
  <tr> 
   <td>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</td> 
   <td>5000</td> 
   <td>schelduler失联等待连接时间</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.store.class</td> 
   <td>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</td> 
   <td>RM状态信息存储方式，一种基于内存(MemStore)，另一种基于ZK(ZKStore)</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.zk-address</td> 
   <td>gdy231:2181,gdy232:2181,gdy233:2181,gdy234:2181,gdy235:2181</td> 
   <td>使用ZK集群保存状态信息&nbsp;</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.zk.state-store.address</td> 
   <td>gdy231:2181,gdy232:2181,gdy233:2181,gdy234:2181,gdy235:2181</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.address.rm1</td> 
   <td>gdy233:23140</td> 
   <td>客户端通过该地址向RM提交对应用程序操作</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.address.rm2</td> 
   <td>gdy234:23140</td> 
   <td>客户端通过该地址向RM提交对应用程序操作</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.address.rm3</td> 
   <td>gdy235:23140</td> 
   <td>客户端通过该地址向RM提交对应用程序操作</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.scheduler.address.rm1</td> 
   <td>gdy233:23130</td> 
   <td>&nbsp;向RM调度资源地址</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.scheduler.address.rm2</td> 
   <td>gdy234:23130</td> 
   <td>向RM调度资源地址</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.scheduler.address.rm3</td> 
   <td>gdy235:23130</td> 
   <td>向RM调度资源地址</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.admin.address.rm1</td> 
   <td>gdy233:23141</td> 
   <td>管理员通过该地址向RM发送管理命令</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.admin.address.rm2</td> 
   <td>gdy234:23141</td> 
   <td>管理员通过该地址向RM发送管理命令</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.admin.address.rm3</td> 
   <td>gdy235:23141</td> 
   <td>管理员通过该地址向RM发送管理命令</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.resource-tracker.address.rm1</td> 
   <td>gdy233:23125</td> 
   <td>NodeManager通过该地址交换信息</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.resource-tracker.address.rm2</td> 
   <td>gdy234:23125</td> 
   <td>NodeManager通过该地址交换信息</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.resource-tracker.address.rm3</td> 
   <td>gdy235:23125</td> 
   <td>NodeManager通过该地址交换信息</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.webapp.address.rm1</td> 
   <td>gdy233:23188</td> 
   <td>RM HTTP访问地址,查看集群信息</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.webapp.address.rm2</td> 
   <td>gdy234:23188</td> 
   <td>RM HTTP访问地址,查看集群信息</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.webapp.address.rm3</td> 
   <td>gdy235:23188</td> 
   <td>RM HTTP访问地址,查看集群信息</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.webapp.https.address.rm1</td> 
   <td>gdy233:23189</td> 
   <td>RM HTTP访问地址,查看集群信息</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.webapp.https.address.rm2</td> 
   <td>gdy234:23189</td> 
   <td>RM HTTP访问地址,查看集群信息</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.webapp.https.address.rm3</td> 
   <td>gdy235:23189</td> 
   <td>RM HTTP访问地址,查看集群信息</td> 
  </tr> 
 </tbody> 
</table>

<table>      
 <tbody> 
  <tr> 
   <td colspan="3">Hbase配置文件：<br> 注意：Hbase配置文件core-site.xml与hdfs-site.xml配置文件与Hadoop配置文件保持一致。可以拷贝</td> 
  </tr> 
  <tr> 
   <td>backup-masters记录了备用的masters结点位置</td> 
   <td>gdy234</td> 
  </tr> 
  <tr> 
   <td>regionServers配置文件指定了Hbase上启动Hregionservers的位置</td> 
   <td>gdy235<br> gdy234<br> gdy233</td> 
  </tr> 
  <tr> 
   <td>hbase-site.xml</td> 
  </tr> 
  <tr> 
   <td>属性</td> 
   <td>值</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>hbase.rootdir</td> 
   <td>hdfs://gdy/hbase</td> 
   <td>指定hbase所在的hdfs文件系统中的目录</td> 
  </tr> 
  <tr> 
   <td>hbase.cluster.distributed</td> 
   <td>TRUE</td> 
   <td>开启hbase完全分布式模式</td> 
  </tr> 
  <tr> 
   <td>hbase.master.port</td> 
   <td>60000</td> 
   <td>配置hMaster访问端口。（注意：HMaster在哪里又zookeeper决定）</td> 
  </tr> 
  <tr> 
   <td>hbase.zookeeper.quorum</td> 
   <td>gdy231,gdy232,gdy233,gdy234,gdy235</td> 
   <td>Zookeeper集群的地址列表，用逗号分割。</td> 
  </tr> 
  <tr> 
   <td>hbase.zookeeper.property.clientPort</td> 
   <td>2181</td> 
   <td>配置zookeeper的作业端口</td> 
  </tr> 
  <tr> 
   <td>hbase.replication</td> 
   <td>TRUE</td> 
   <td>开启 hbase 主从集群复制 replication</td> 
  </tr> 
  <tr> 
   <td>replication.source.size.capacity</td> 
   <td>4194304</td> 
   <td>主集群每次像备集群发送的entry的包的最大值大小，不推荐过大</td> 
  </tr> 
  <tr> 
   <td>replication.source.nb.capacity</td> 
   <td>2000</td> 
   <td>主集群每次向备集群发送的entry最大的个数</td> 
  </tr> 
  <tr> 
   <td>replication.source.ratio</td> 
   <td>1</td> 
   <td>主集群里使用slave服务器的百分比</td> 
  </tr> 
  <tr> 
   <td>hbase.balancer.period</td> 
   <td>15000</td> 
   <td>Master执行region balancer的间隔,默认30s</td> 
  </tr> 
 </tbody> 
</table>