Hadoop集群配置

比眉伴天荒 2024-03-30 08:55 98阅读 0赞

> 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

#### 文章目录 ####

*  配置Hadoop集群
 *  一、在master虚拟机上配置hadoop
 *   *  （1）编辑Hadoop环境配置文件 - hadoop-env.sh
     *  （2）编辑Hadoop核心配置文件 - core-site.xml
     *  （3）编辑HDFS配置文件 - hdfs-site.xml
     *  （4）编辑MapReduce配置文件 - mapred-site.xml
     *  （5）编辑yarn配置文件 - yarn-site.xml
     *  （6）编辑workers文件确定数据节点
 *  2、在slave1虚拟机上安装配置hadoop
 *   *  （1）将master虚拟机上的hadoop分发到slave1虚拟机
     *  （2）将master虚拟机上环境配置文件分发到slave1虚拟机
     *  （3）在slave1虚拟机上让环境配置生效
 *  3、在slave2虚拟机上安装配置hadoop
 *   *  （1）将master虚拟机上的hadoop分发到slave2虚拟机
     *  （2）将master虚拟机上环境配置文件分发到slave2虚拟机
     *  （3）在slave2虚拟机上让环境配置生效
 *  格式化文件系统
 *  启动和关闭Hadoop集群
 *  主节点上启动hadoop集群
 *   *  （1）启动hdfs服务
     *  （2）启动yarn服务
 *  主节点上停止Hadoop集群

--------------------

## 配置Hadoop集群 ##

`Hadoop的配置文件都在$HADOOP_HOME/etc/hadoop目录里`  
![在这里插入图片描述][a6e37f674ff34bdfbbbbb2d603d3461f.png]

--------------------

## 一、在master虚拟机上配置hadoop ##

### （1）编辑Hadoop环境配置文件 - hadoop-env.sh ###

*  执行命令：cd $HADOOP\_HOME/etc/hadoop，进入hadoop配置目录  
    ![在这里插入图片描述][b2dce4c6f8c2444baeb2771e230a569b.png]
 *  执行命令：vim hadoop-env.sh，添加三条环境变量配置

![在这里插入图片描述][1b6f4c8340e94c8d9d31c9b2dbadccc1.png]

*  存盘退出后，执行命令source hadoop-env.sh，让配置生效

### （2）编辑Hadoop核心配置文件 - core-site.xml ###

*  执行命令：vim core-site.xml  
    ![在这里插入图片描述][651e9e7a23584fe4a0bc206d3ee04dfc.png]

> 由于配置了IP地址主机名映射，因此配置HDFS老大节点可用hdfs://master:9000，否则必须用IP地址hdfs://192.168.1.101:9000

### （3）编辑HDFS配置文件 - hdfs-site.xml ###

*  执行命令：vim hdfs-site.xml  
    ![在这里插入图片描述][b7dc39c7685947c19edc20253a4caa17.png]
 *  可以不用设置名称节点的目录、数据节点的目录以及辅助名称节点

<configuration>
        
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/local/hadoop-3.3.4/tmp/namenode</value>
        </property>
        
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/usr/local/hadoop-3.3.4/tmp/datanode</value>
        </property>
        
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>master:50090</value>
        </property>
        
        
        <property>
            <name>dfs.namenode.http-address</name>
            <value>0.0.0.0:9870</value>
        </property>
        
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        
        <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
        </property>
    </configuration>

### （4）编辑MapReduce配置文件 - mapred-site.xml ###

*  执行命令：vim mapred-site.xml  
    ![在这里插入图片描述][aa24209a3d5040bd9e583591a1193d99.png]

<configuration>
        
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>yarn.app.mapreduce.am.env</name>
            <value>HADOOP_MAPRED_HOME=${
        HADOOP_HOME}</value>
        </property>
        <property>
            <name>mapreduce.map.env</name>
            <value>HADOOP_MAPRED_HOME=${
        HADOOP_HOME}</value>
        </property>
        <property>
            <name>mapreduce.reduce.env</name>
            <value>HADOOP_MAPRED_HOME=${
        HADOOP_HOME}</value>
        </property>
    </configuration>

*  后三个属性如果不设置，在运行Hadoop自带示例的词频统计时，会报错：Error: Could not find or load main  
    class g.apache.hadoop.mapreduce.v2.app.MRAppMaster

### （5）编辑yarn配置文件 - yarn-site.xml ###

*  执行命令：vim yarn-site.xml

![在这里插入图片描述][fd1c80f1106843dc9e38f850880f6973.png]

<configuration>
        
        <property>        
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
        
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        
        <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
        </property>
    </configuration>

### （6）编辑workers文件确定数据节点 ###

*  hadoop-2.x里配置slaves文件，hadoop-3.x里配置workers文件
 *  通过workers文件定义数据节点，根据集群规划，三个节点都要作为数据节点
 *  执行命令：vim workers

## 2、在slave1虚拟机上安装配置hadoop ##

### （1）将master虚拟机上的hadoop分发到slave1虚拟机 ###

*  执行命令：scp -r  H A D O O P H O M E r o o t @ s l a v e 1 : HADOOP\_HOME root@slave1: HADOOPHOMEroot@slave1:HADOOP\_HOME

在slave1虚拟机上查看分发的hadoop  
![在这里插入图片描述][b57a6ad18b4e4362b40a10ba958fae57.png]

### （2）将master虚拟机上环境配置文件分发到slave1虚拟机 ###

*  执行命令：scp /etc/profile root@slave1:/etc/profile

![在这里插入图片描述][62d6f9ed40c443fcaf50493f000bdc59.png]

### （3）在slave1虚拟机上让环境配置生效 ###

*  切换到slave1虚拟机，执行命令：source /etc/profile

![在这里插入图片描述][66aa69c9313043838fbdf161156d8654.png]

## 3、在slave2虚拟机上安装配置hadoop ##

### （1）将master虚拟机上的hadoop分发到slave2虚拟机 ###

*  执行命令：scp -r  H A D O O P H O M E r o o t @ s l a v e 2 : HADOOP\_HOME root@slave2: HADOOPHOMEroot@slave2:HADOOP\_HOME  
    ![在这里插入图片描述][357ea379ccec4b868f17d4a40d3539ed.png]
 *  在slave2虚拟机上查看分发的hadoop  
    ![在这里插入图片描述][55ca35cc098b40b5847b305681f49999.png]

### （2）将master虚拟机上环境配置文件分发到slave2虚拟机 ###

*  执行命令：scp /etc/profile root@slave2:/etc/profile  
    ![在这里插入图片描述][4fd38a6477ea406fbcc869a7a120d09b.png]

### （3）在slave2虚拟机上让环境配置生效 ###

*  切换到slave2虚拟机，执行命令：source /etc/profile  
    ![在这里插入图片描述][3148f917a3f74e208979b5b4c15969c5.png]

## 格式化文件系统 ##

*  初次启动HDFS集群时，必须对主节点进行格式化处理。
 *  执行命令：hdfs namenode -format  
    ![在这里插入图片描述][61a9ad8ffee04cb79146a54edfb63f76.png]
 *  查看名称节点格式化成功的信息  
    ![在这里插入图片描述][363f6b32688e4ef484f7b2ceee4ff23f.png]

## 启动和关闭Hadoop集群 ##

## 主节点上启动hadoop集群 ##

*  执行start-all.sh命令，一起启动hdfs和yarn服务，也可以分开启动两种服务。

### （1）启动hdfs服务 ###

*  执行命令：start-dfs.sh  
    ![在这里插入图片描述][a2cfd9102bb14d42a1edf2c0f563f835.png]

> 一个名称节点（namenode）——老大，在master虚拟机上；三个数据节点（datanode）——小弟，在master、slave1与slave2虚拟机上。辅助名称节点（secondary  
> namenode）的地址是master，因为在hdfs-site.xml文件里配置了辅助名称节点。

*  查看master虚拟机上的进程  
    ![在这里插入图片描述][01791049a1314c08906828cafcc4f009.png]
 *  查看slave1虚拟机上的进程  
    ![在这里插入图片描述][36a1cffae3054d829c541fd61d306056.png]
 *  查看slave2虚拟机上的进程  
    ![在这里插入图片描述][2b9c812e340f40cdb814016c09289e14.png]

### （2）启动yarn服务 ###

*  执行命令：start-yarn.sh  
    ![在这里插入图片描述][35f7d702f73742019a40e99eb4ed73e1.png]
 *  启动了YARN守护进程；一个资源管理器（ResourceManager）在master虚拟机上，三个节点管理器（NodeManager）在master、slave1与slave2虚拟机上
 *  执行命令jps查看master虚拟机的进程  
    ![在这里插入图片描述][823273d8fb6f4c41b597d9b649a8a2af.png]
 *  查看slave1和slave2上的进程，只有NodeManager和DataNode  
    ![在这里插入图片描述][2bd5b601e4b54d20b4287f5b14febc91.png]  
    ![在这里插入图片描述][6bf19363bbae4da2bdd5e7543382e6b7.png]

## 主节点上停止Hadoop集群 ##

在master虚拟机上执行命令：stop-all.sh（相当于同时执行了stop-dfs.sh与stop-yarn.sh）  
![在这里插入图片描述][a675bc5cb2634cf59540c258c3fa555b.png]

[a6e37f674ff34bdfbbbbb2d603d3461f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/fc68e7bc5f444dcebcf4166833ad141c.png
[b2dce4c6f8c2444baeb2771e230a569b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/dbc588ed2d6d44999373e9c4f82ab924.png
[1b6f4c8340e94c8d9d31c9b2dbadccc1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4c638e70297f490993967f088a90966b.png
[651e9e7a23584fe4a0bc206d3ee04dfc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b29daaab4ce3438c9524783e769792d9.png
[b7dc39c7685947c19edc20253a4caa17.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e106da5758c94b0b84a6c158b4786c31.png
[aa24209a3d5040bd9e583591a1193d99.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7d6ba0f01f1c4ae0ab1e31882112ca9f.png
[fd1c80f1106843dc9e38f850880f6973.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/dcdaf08bb14546708a29e98f78e9b851.png
[b57a6ad18b4e4362b40a10ba958fae57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d9b8047911a44ebfaa38c1637f0b2b8f.png
[62d6f9ed40c443fcaf50493f000bdc59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c28e450173c24039b0084d43433474b7.png
[66aa69c9313043838fbdf161156d8654.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/45e9c46573b5423aab078f0b178f99a5.png
[357ea379ccec4b868f17d4a40d3539ed.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7c2e60928e0f4492b3a22ac10a03ea3b.png
[55ca35cc098b40b5847b305681f49999.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3e8f921233624b65ab51f06d9ed7d217.png
[4fd38a6477ea406fbcc869a7a120d09b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/483dfe05df01487dbe088c47b9a0d3fb.png
[3148f917a3f74e208979b5b4c15969c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/cd9d0b61dc6146e3a774484cf907175a.png
[61a9ad8ffee04cb79146a54edfb63f76.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e43870507cef42f7a9720f8dbe33226d.png
[363f6b32688e4ef484f7b2ceee4ff23f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/26b7435953bc478dbf58d76560b38115.png
[a2cfd9102bb14d42a1edf2c0f563f835.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2f15925e5a7342f3ae29e75bdc4dfaf7.png
[01791049a1314c08906828cafcc4f009.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/30ccce88ba7d47e7a2962b76d7861f94.png
[36a1cffae3054d829c541fd61d306056.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/cec19905e4dc40798e4dc247e72a19b0.png
[2b9c812e340f40cdb814016c09289e14.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9e176970093f4c548b545a5e11ef2728.png
[35f7d702f73742019a40e99eb4ed73e1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/85698a7f093d46e09fd2198342991532.png
[823273d8fb6f4c41b597d9b649a8a2af.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/279204c94b6744c6b37d0f0bf487da24.png
[2bd5b601e4b54d20b4287f5b14febc91.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/50af5999129a4935ac27a0a63ddfec28.png
[6bf19363bbae4da2bdd5e7543382e6b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/acb38646b35441a996f658902a26cde4.png
[a675bc5cb2634cf59540c258c3fa555b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a0ad3834162e451ca2b4f7dbdf0e82b0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，98人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop集群配置安装

装包资料链接: https://pan.baidu.com/s/1YFbBJNesfhl0eBZ9B3pwKw 提取码: rmba 安装准备 \[root@tan...

蔚落/ 2024年04月18日 07:13/ 0 赞/ 102 阅读

相关 Hadoop集群配置

> 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录配置Hadoop集群一、在master虚拟机上配置hadoop

比眉伴天荒/ 2024年03月30日 08:55/ 0 赞/ 99 阅读

相关 Hadoop集群配置

一：集群部署规划注意： ➢ NameNode和SecondaryNameNode不要安装在同一台服务器 ➢ ResourceManager也很消耗内存，不要和Nam

r囧r小猫/ 2023年09月28日 04:30/ 0 赞/ 26 阅读

相关 hadoop集群配置

1、安装3个虚拟机，主机名修改为 192.168.2.131 master 、192.168.2.130 slave1 、192.168.2.132 slave2

比眉伴天荒/ 2023年05月28日 06:46/ 0 赞/ 32 阅读

相关 Hadoop集群安装配置

1、集群部署介绍 1.1 Hadoop简介 ![201205161427003307.png][]　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平

落日映苍穹つ/ 2022年09月17日 05:28/ 0 赞/ 413 阅读

相关 hadoop实践（三）hadoop 集群配置

第一步：集群规划 master 192.168.136.140 slave1 192.168.136.151 slave2 192.168.136.152

╰+攻爆jí腚メ/ 2022年08月23日 08:45/ 0 赞/ 17 阅读

相关 Hadoop集群安装与配置

转载自[Hadoop集群安装配置教程\_Hadoop2.6.0\_Ubuntu/CentOS][Hadoop_Hadoop2.6.0_Ubuntu_CentOS] 本教程讲述

淡淡的烟草味﹌/ 2022年08月21日 00:18/ 0 赞/ 258 阅读

相关 Hadoop集群配置

1.在进行Hadoop集群配置中，需要在/etc/hosts文件中添加集群中所有机器的IP与主机名，这样Master与所有的Slave机器之间不仅可以通过IP进行通信，还可以通

桃扇骨/ 2022年08月07日 05:35/ 0 赞/ 254 阅读

相关 Hadoop集群时间同步配置

Hadoop集群时间同步配置 1.时间服务器配置（必须root用户） 1.1检查ntp是否安装 1.2修改ntp配置文件 1

痛定思痛。/ 2022年04月05日 04:12/ 0 赞/ 425 阅读

相关 Hadoop 集群配置

文章目录集群部署规划配置核心配置文件 hdfs 配置文件 hadoo

爱被打了一巴掌/ 2022年02月25日 01:26/ 0 赞/ 310 阅读