hadoop 动态扩容缩容

太过爱你忘了你带给我的痛 2023-05-29 05:20 84阅读 0赞

# 欢迎关注本人公众号 #

![在这里插入图片描述][20200515113638671.jpg_pic_center]

# 初始化集群 #

初始化集群：hadoop三个DataNode，HBASE集群只有一个regionserver。  
后面我们不停服的情况下，动态添加一个机器node4，在node4上启动DataNode服务。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pdDAwNy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]

# hadoop动态扩容 #

## 准备工作 ##

准备工作与新搭建集群类似，这里参考笔者另一篇博客[Hadoop 2.8.5 完全分布式HA高可用安装（一）–环境准备][Hadoop 2.8.5 _HA]

*  安装java
 *  配置hostname
 *  确保ssh免密登录可以互通
 *  配置hosts
 *  关闭防火墙

## 修改slaves文件 ##

配置`每台`机器的`hadoop-2.7.2/etc/hadoop/slaves`文件，添加node4节点

[root@node1 hadoop]# cat slaves 
    node1
    node2
    node3
    node4

## 启动DataNode ##

在新增加的node4集器启动DataNode

[root@node4 sbin]# ./hadoop-daemon.sh start datanode
    starting datanode, logging to /data/program/hadoop-2.7.2/logs/hadoop-root-datanode-node4.out
    [root@node4 sbin]# jps
    1988 Jps
    1910 DataNode

## 启动nodemanager ##

如果需要yarn服务，则启动nodemanager：

./yarn-daemon.sh start nodemanager

## 查看结果 ##

访问http://node1:50070 查看DataNode结果，发现多了一个node4  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pdDAwNy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]

# hadoop动态缩容 #

这里我们把node3的DataNode下线。

## 配置excludes ##

在namenode的active节点上配置excludes过滤

[root@node1 hadoop]# cat excludes 
    node3

## 修改hdfs-site.xml ##

在namenode的active节点上添加

<property>
    	        <name>dfs.hosts.exclude</name>
            	<value>/data/program/hadoop-2.7.2/etc/hadoop/excludes</value>
    	</property>

## 修改mapred-site.xml ##

在namenode的active节点上添加

<property>
        <name>mapred.hosts.exclude</name>
        <value>/data/program/hadoop-2.7.2/etc/hadoop/excludes</value>
     	<final>true</final>
    </property>

## refreshNodes ##

在namenode的active节点上执行

[root@node1 bin]# ./hadoop dfsadmin -refreshNodes
    DEPRECATED: Use of this script to execute hdfs command is deprecated.
    Instead use the hdfs command for it.
    
    Refresh nodes successful for node1/192.168.229.100:9000
    Refresh nodes successful for node2/192.168.229.101:9000

查看node3状态

[root@node1 bin]# ./hadoop dfsadmin -report
    DEPRECATED: Use of this script to execute hdfs command is deprecated.
    Instead use the hdfs command for it.
    
    Configured Capacity: 54721310720 (50.96 GB)
    Present Capacity: 38866949149 (36.20 GB)
    DFS Remaining: 38847803773 (36.18 GB)
    DFS Used: 19145376 (18.26 MB)
    DFS Used%: 0.05%
    Under replicated blocks: 0
    Blocks with corrupt replicas: 0
    Missing blocks: 0
    Missing blocks (with replication factor 1): 0
    
    -------------------------------------------------
    Live datanodes (4):
    
    Name: 192.168.229.101:50010 (node2)
    Hostname: node2
    Decommission Status : Normal
    Configured Capacity: 18238930944 (16.99 GB)
    DFS Used: 4648960 (4.43 MB)
    Non DFS Used: 5018213816 (4.67 GB)
    DFS Remaining: 13216068168 (12.31 GB)
    DFS Used%: 0.03%
    DFS Remaining%: 72.46%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 5
    Last contact: Mon Nov 04 18:55:55 CST 2019
    
    
    Name: 192.168.229.103:50010 (node4)
    Hostname: node4
    Decommission Status : Normal
    Configured Capacity: 18238930944 (16.99 GB)
    DFS Used: 5374624 (5.13 MB)
    Non DFS Used: 4930800408 (4.59 GB)
    DFS Remaining: 13302755912 (12.39 GB)
    DFS Used%: 0.03%
    DFS Remaining%: 72.94%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 5
    Last contact: Mon Nov 04 18:55:54 CST 2019
    
    
    Name: 192.168.229.102:50010 (node3)
    Hostname: node3
    Decommission Status : Decommissioned
    Configured Capacity: 18238930944 (16.99 GB)
    DFS Used: 4517888 (4.31 MB)
    Non DFS Used: 4846258853 (4.51 GB)
    DFS Remaining: 13388154203 (12.47 GB)
    DFS Used%: 0.02%
    DFS Remaining%: 73.40%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 3
    Last contact: Mon Nov 04 18:55:52 CST 2019
    
    
    Name: 192.168.229.100:50010 (node1)
    Hostname: node1
    Decommission Status : Normal
    Configured Capacity: 18238930944 (16.99 GB)
    DFS Used: 4603904 (4.39 MB)
    Non DFS Used: 5905347347 (5.50 GB)
    DFS Remaining: 12328979693 (11.48 GB)
    DFS Used%: 0.03%
    DFS Remaining%: 67.60%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 3
    Last contact: Mon Nov 04 18:55:52 CST 2019

可以看到node3的`Decommission Status`由`Normal`变为了`Decommissioned`(下线过程中是decomissioning状态)  
我们也可以在控制台查看状态：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pdDAwNy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]

## 关闭node3的DataNode进程 ##

在node3机器上执行：

[root@node3 sbin]# ./hadoop-daemon.sh stop datanode
    stopping datanode

如果有nodemanager, 在node3机器上执行`yarn-daemon.sh stop nodemanager`停止nodemanager

这一步操作需要等待很久的时间，才能看到node3变为dead状态：  
![在这里插入图片描述][20191104191622190.png]  
使用`hadoop dfsadmin -report`也可以看到有dead的节点`Dead datanodes (1)`

[20200515113638671.jpg_pic_center]: https://img-blog.csdnimg.cn/20200515113638671.jpg#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pdDAwNy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191104174734738.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9pdDAwNy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[Hadoop 2.8.5 _HA]: https://blog.csdn.net/liubenlong007/article/details/95359120
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pdDAwNy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191104180022332.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9pdDAwNy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pdDAwNy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2019110419004076.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9pdDAwNy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[20191104191622190.png]: https://img-blog.csdnimg.cn/20191104191622190.png

发表评论取消回复

表情：

评论列表（有 0 条评论，84人围观）

还没有评论，来说两句吧...

相关阅读

相关数组扩容与缩容

1. 扩容简介壹哥在前面给大家说过，数组一旦创建初始化后，其长度就不能被改变。但是有的小伙伴就说了，”不对啊，我看别人的文章说，可以往数组中增加很多新数据啊......

约定不等于承诺〃/ 2024年03月27日 14:07/ 0 赞/ 97 阅读

相关 RedisCluster集群扩容与缩容

目录一、传统Redis集群存在那些问题二、传统RedisCluster集群的原理三、RedisCluster集群模式环境搭建四、Redis

拼搏现实的明天。/ 2023年09月29日 12:57/ 0 赞/ 21 阅读

相关如何设计可以动态扩容缩容的分库分表方案？

面试题如何设计可以动态扩容缩容的分库分表方案？面试官心理分析对于分库分表来说，主要是面对以下问题：选择一个数据库中间件，调研、学习、测试；

谁借莪１个温暖的怀抱￠/ 2023年06月06日 10:53/ 0 赞/ 6 阅读

相关 hbase扩容缩容

欢迎关注本人公众号 ![在这里插入图片描述][20200515113638671.jpg_pic_center] 初始化集群初始化集群：hadoop三个Data

青旅半醒/ 2023年05月29日 05:25/ 0 赞/ 38 阅读

相关 hadoop 动态扩容缩容

欢迎关注本人公众号 ![在这里插入图片描述][20200515113638671.jpg_pic_center] 初始化集群初始化集群：hadoop三个Data

太过爱你忘了你带给我的痛/ 2023年05月29日 05:20/ 0 赞/ 85 阅读

相关 ArrayList扩容与缩容机制

ArrayList集合类是我们面试中经常被问到的一个问题，类似的有ArrayList与LinkedList的区别之类的，而ArrayList与LinkedList的主要区别在于

你的名字/ 2023年02月11日 03:17/ 0 赞/ 12 阅读

相关 DolphinScheduler 1.3.x 扩容&缩容

DolphinScheduler扩容/缩容文档 1. DolphinScheduler扩容文档本文扩容是针对现有的DolphinScheduler集群添加新的m

╰半夏微凉°/ 2022年11月21日 09:29/ 0 赞/ 320 阅读

相关 es动态平滑缩容

例如要下线节点: 10.10.10.3 步骤1：将节点从集群路由策略中排除 curl -XPUT http://127.0.0.1:9200/_cluster

谁践踏了优雅/ 2022年11月01日 05:38/ 0 赞/ 186 阅读

相关 redis集群redis-trib扩容缩容

端口号： 7000-7002主 7003-7005从扩容后：7006主 7007从缩容后：7006还原槽位 7007forget redis-trib.

- 日理万妓/ 2022年02月05日 07:21/ 0 赞/ 319 阅读

相关 Linux LVM扩容和缩容

将原硬盘上的LVM分区/dev/mapper/RHEL-Data由原来的60G扩展到80G Step1:将LVData扩容+20G，如下图： \[root@esc data

我不是女神ヾ/ 2021年11月10日 11:54/ 0 赞/ 613 阅读