Hadoop3.x配置

爱被打了一巴掌 2023-09-27 07:15 117阅读 0赞

# Hadoop3.x配置文件 #

首先了解一下有哪些即将配置的结点  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5YiY5piO55qTMDA_size_20_color_FFFFFF_t_70_g_se_x_16]

下面开发的时候进行的结点配置  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5YiY5piO55qTMDA_size_20_color_FFFFFF_t_70_g_se_x_16 1]

下面的内容的解释可以在官方文档中翻到最下面[找到][Link 1]  
![在这里插入图片描述][1b1d58783e09458db410f6cbab223651.png]  
第二列是如果不配的话，默认给你赋的值，第三列是解释  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5YiY5piO55qTMDA_size_20_color_FFFFFF_t_70_g_se_x_16 2]

## 配置hdfs的集群关联 ##

--------------------

在主机的/liu/hadoop/etc/hadoop/core-site.xml的 节点内插入如下内容。

<property>
            <name>fs.defaultFS</name>
            <value>hdfs://liu:8020</value> 
            
    </property>
    
    
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/liu/hadoop/linshi</value>
    </property>
    
    
    <property>
            <name>hadoop.http.staticuser.user</name>
            <value>root</value>
            
    </property>
    
    
    <property>                  
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
    </property>
    
    <property>
            <name>hadoop.proxyuser.root.groups</name>
            <value>*</value>
    </property>

# 配置结点关联的web控制台 #

--------------------

在主机的/liu/hadoop/etc/hadoop/hdfs-site.xml的 节点内插入如下内容。

<property>
        <name>dfs.namenode.http-address</name>
        <value>liu:9870</value>
    </property>
    
    
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>liu2:9868</value>
    </property>

完事后，启动NameNode和DataNode后，关闭防火墙，直接 公网ip:9870就能访问NameNode的web控制台了。

## 配置mapreduce的集群关联 ##

--------------------

在主机的/liu/hadoop/etc/hadoop/mapred-site.xml的 节点内插入如下内容。

<property> 
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    
    
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>liu2:10020</value>
    </property>
    
    
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>liu2:19888</value>
    </property>

## 配置yarn的集群关联 ##

--------------------

在主机的/liu/hadoop/etc/hadoop/yarn-site.xml的 节点内插入如下内容。

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    
     <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>liu2</value>
    </property>
    
    
    <property>
            <name>yarn.nodemanager.env-whitelist</name>
    	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property> 
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
    	<name>yarn.log-aggregation-enable</name>
    	<value>true</value> 
    </property>
    
    
    <property>
        <name>yarn.log.server.url</name>
        <value>http://liu2:19888/jobhistory/logs</value>
    </property>
    
    
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5YiY5piO55qTMDA_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/5c23a375d42c42998c22acfd749f7f9b.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YiY5piO55qTMDA=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5YiY5piO55qTMDA_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/f4b40fc293c440d180f5f0d6d20e52d2.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YiY5piO55qTMDA=,size_20,color_FFFFFF,t_70,g_se,x_16
[Link 1]: https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html
[1b1d58783e09458db410f6cbab223651.png]: https://img-blog.csdnimg.cn/1b1d58783e09458db410f6cbab223651.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5YiY5piO55qTMDA_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/77848b77adb448b2b1d6be5ca7ce79d3.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YiY5piO55qTMDA=,size_20,color_FFFFFF,t_70,g_se,x_16