完全分布式集群的总结

左手的ㄟ右手 2022-04-05 07:07 226阅读 0赞

### 完全分布式集群的总结 ###

*  1.某些问题的说明
 *  2.集群启动/停止方式
 *   *  2.1逐个启动/停止
     *  2.2整体启动/停止（配置SSH是前提）
 *  3.博客提到的配置文件汇总
 *   *  3.1配置在core-site.xml上的有
     *  3.2配置在hdfs-site.xml上的有
     *  3.3配置在yarn-site.xml上的有
     *  3.4配置在mapred-site.xml上的有
 *  4.返回目录

# 1.某些问题的说明 #

1.博主相信有很多人初学者（了解一点linux与shell编程）肯定会有这些命令究竟是执行的什么的问题！所以现在请打开hadoop安装目录的bin和sbin目录。（是不是有感觉到命令是执行的什么了。看到那个.sh文件了吗？是不是突然想起了shell！想起来我们配置的path了吗？我们配置的是什么目录！！！）

# 2.集群启动/停止方式 #

## 2.1逐个启动/停止 ##

1.分别启动/停止HDFS组件:[hadoop-daemon.sh][] start / stop namenode / datanode / secondarynamenode  
2.启动/停止YARN:[yarn-daemon.sh][] start / stop resourcemanager / nodemanager

## 2.2整体启动/停止（配置SSH是前提） ##

1.整体启动/停止HDFS:sbin/start-dfs.sh | sbin/stop-dfs.sh  
2.整体启动/停止YARN:sbin/start-yarn.sh | sbin/stop-yarn.sh

# 3.博客提到的配置文件汇总 #

## 3.1配置在core-site.xml上的有 ##

<property>
    	<name>fs.defaultFS</name>
    	<value>hdfs://hadoop102:9000</value>
    </property>
    
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

## 3.2配置在hdfs-site.xml上的有 ##

<property>
    	<name>dfs.replication</name>
    	<value>3</value>
    </property>
    
    <property>
    	<name>dfs.namenode.secondary.http-address</name>
    	<value>hadoop104:50090</value>
    </property>

## 3.3配置在yarn-site.xml上的有 ##

<property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
    </property>
    
    <property>			
    	<name>yarn.resourcemanager.hostname</name>
    	<value>hadoop103</value>
    </property>
    
    <property>
    	<name>yarn.log-aggregation-enable</name>
    	<value>true</value>
    </property>
    
    <property>
    	<name>yarn.log-aggregation.retain-seconds</name>
    	<value>604800</value>
    </property>

## 3.4配置在mapred-site.xml上的有 ##

<property>
    	<name>mapreduce.framework.name</name>
    	<value>yarn</value>
    </property>
    
    <property>
    	<name>mapreduce.jobhistory.address</name>
    	<value>hadoop101:10020</value>
    </property>
    
    <property>
    	<name>mapreduce.jobhistory.webapp.address</name>
    	<value>hadoop101:19888</value>
    </property>

# 4.返回目录 #

**总目录：**[https://blog.csdn.net/qq\_39657909/article/details/84729209][https_blog.csdn.net_qq_39657909_article_details_84729209]

*版权声明：本博客为记录本人自学感悟，转载需注明出处！*  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[hadoop-daemon.sh]: http://hadoop-daemon.sh
[yarn-daemon.sh]: http://yarn-daemon.sh
[https_blog.csdn.net_qq_39657909_article_details_84729209]: https://blog.csdn.net/qq_39657909/article/details/84729209
[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909