hadoop入门——配置文件说明

喜欢ヅ旅行 2021-09-27 05:52 425阅读 0赞

1.coer-site.xml

<configuration>
             
        <property>      
           <name>fs.defaultFS</name>      
           <value>hdfs://cluster1</value>      
        </property>
                
        <property>      
             <name>hadoop.tmp.dir</name>     
             <value>/home/tom/yarn/yarn_data/tmp</value>     
         </property>  
         
      	<property>      
           <name>ha.zookeeper.quorum</name>      
           <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181,hadoop5:2181</value>     
      	</property>        
    </configuration>

2.hdfs-site.xml(重点核心文件)

<configuration>
          
        <property>  
          <name>dfs.replication</name>  
           <value>2</value>  
        </property>        
        <property>  
           <name>dfs.permissions</name>  
          <value>false</value>  
       </property>  
       <property>  
          <name>dfs.permissions.enabled</name>  
          <value>false</value>  
       </property>
          
       <property>      
          <name>dfs.nameservices</name>    
          <value>cluster1</value>      
       </property>
                    
      <property>  
         <name>dfs.ha.namenodes.cluster1</name>  
         <value>hadoop1,hadoop2</value>  
      </property>  
        
      <property>  
         <name>dfs.namenode.rpc-address.cluster1.hadoop1</name>  
         <value>hadoop1:9000</value>  
      </property>    
       
      <property>                  
        <name>dfs.namenode.http-address.cluster1.hadoop1</name>      
        <value>hadoop1:50070</value>      
      </property>       
      <property>      
        <name>dfs.namenode.rpc-address.cluster1.hadoop2</name>      
        <value>hadoop2:9000</value>      
      </property>  
      <property>      
        <name>dfs.namenode.http-address.cluster1.hadoop2</name>      
        <value>hadoop2:50070</value>     
      </property>  
      <property>  
        <name>dfs.namenode.servicerpc-address.cluster1.hadoop1</name>  
        <value>hadoop1:53310</value>  
      </property>  
      <property>  
        <name>dfs.namenode.servicerpc-address.cluster1.hadoop2</name>  
        <value>hadoop2:53310</value>  
      </property>
          
      <property>    
        <name>dfs.ha.automatic-failover.enabled.cluster1</name>    
        <value>true</value>    
      </property>           
          
        
    	<property>  
        	<name>dfs.namenode.shared.edits.dir</name>       
        	<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485;hadoop4:8485;hadoop5:8485/cluster1</value>  
    	</property>  
    	
    	<property>  
    		<name>dfs.client.failover.proxy.provider.cluster1</name>       
    		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
    	</property>  
    	
      	<property>      
           <name>dfs.journalnode.edits.dir</name>      
           <value>/home/tom/yarn/yarn_data/tmp/journal</value>      
      	</property>  
      	
        <property>      
           <name>dfs.ha.fencing.methods</name>      
           <value>sshfence</value>      
        </property>
          
       <property>      
            <name>dfs.ha.fencing.ssh.private-key-files</name>      
            <value>/home/tom/.ssh/id_rsa</value>      
        </property>    
        <property>  
            <name>dfs.ha.fencing.ssh.connect-timeout</name>  
            <value>10000</value>  
        </property>  
        <property>  
            <name>dfs.namenode.handler.count</name>  
            <value>100</value>  
       </property>  
    </configuration>

3.mapred-site.xml

<configuration>
    	<property>  
    	    <name>mapreduce.framework.name</name>  
    	    <value>yarn</value>  
    	</property>  
    </configuration>

4.yarn-site.xml

<configuration>  
    	 
    	 <property>      
    	    <name>yarn.resourcemanager.hostname</name>      
    	    <value>hadoop1</value>      
    	 </property>   
    	<property>  
    	    <name>yarn.nodemanager.aux-services</name>  
    	    <value>mapreduce.shuffle</value>  
    	</property>  
    </configuration>

原文转自：[https://blog.csdn.net/l1028386804/article/details/51372663][https_blog.csdn.net_l1028386804_article_details_51372663]

[https_blog.csdn.net_l1028386804_article_details_51372663]: https://blog.csdn.net/l1028386804/article/details/51372663

发表评论取消回复

表情：

评论列表（有 0 条评论，425人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis 配置文件说明

照抄：[https://www.cnblogs.com/zhoujinyi/p/5565647.html][https_www.cnblogs.com_zhoujinyi_p_

港控/mmm°/ 2022年09月09日 04:46/ 0 赞/ 253 阅读

相关 boa配置文件说明

boa是一个小型的web服务器广泛应用于嵌入式领域。它有配置文件是 /etc/boa/boa.conf 可执行文件一般是放在/usr/sbin/boa Boa Webse

Dear 丶/ 2022年08月21日 04:19/ 0 赞/ 278 阅读

相关 Hadoop配置文件

hadoop需要配置五个文件第一个： hadoop-env.sh 把里面的下面一行改为真正的java路径 export JAVA_HOME=/usr/loca

梦里梦外;/ 2022年07月13日 01:24/ 0 赞/ 211 阅读

相关 nginx配置文件说明

-运行用户 user nobody; -启动进程,通常设置成和cpu的数量相等 worker_processes 1; -全

谁借莪１个温暖的怀抱￠/ 2022年06月05日 04:35/ 0 赞/ 295 阅读

相关 redis配置文件说明

Redis 配置文件当配置中需要配置内存大小时，可以使用 1k, 5GB, 4M 等类似的格式，其转换方式如下(不区分大小写)

亦凉/ 2022年06月02日 01:47/ 0 赞/ 278 阅读

相关 nginx_配置文件说明

1. 配置项介绍红色字体的内容为基础配置，其他配置可以不写。 \运行用户 user www-data; \启动进程,通常设置成和cpu的数量相等 \配置为2

╰半夏微凉°/ 2022年05月25日 11:56/ 0 赞/ 297 阅读

相关 hadoop三个配置文件的参数含义说明

[https://blog.csdn.net/yangjl38/article/details/7583374][https_blog.csdn.net_yangjl38_ar

本是古典何须时尚/ 2022年02月05日 13:17/ 0 赞/ 239 阅读

相关 TypeScript配置文件说明

在使用VsCode编写TypeScript时，VsCode提供了一个tsconfig.json辅助我们设置TypeScript的配置项来确定如何生成最终的js文件。那tsc

浅浅的花香味﹌/ 2021年11月22日 17:00/ 0 赞/ 642 阅读

相关 hadoop入门——配置文件说明

1.coer-site.xml <configuration> <!--【这里的值指的是默认的HDFS路径。这里只有一个HDFS集群，在这里指定！该值来

喜欢ヅ旅行/ 2021年09月27日 05:52/ 0 赞/ 426 阅读

相关 Flink 配置文件说明

master 集群的 master 节点 slaves 集群中所有的工作节点 flink-conf.yaml 1. 基础配置

r囧r小猫/ 2021年09月23日 15:02/ 0 赞/ 604 阅读