add new node in hadoop without restarting the cluster

淩亂°似流年 2022-02-12 14:53 206阅读 0赞

**For the new node**  
step 1:modify /etc/hostname  
slave0X  
=============================================  
**For the master node**  
step1:modify /etc/hosts  
ip masters  
ip slave01  
ip slave02  
...  
ip slave0X  
  
step2:modify the configure file : conf/slaves  
slave01  
slave02  
...  
slave0X  
==============================================

**Distribute the configure files of the master to other slave nodes.**  
run batch file "batch" in hadoop-1.0.3 directory with hadoop user.  
$ su hadoop  
$ cd ~  
$ cd hadoop/hadoop-1.0.3  
$ chown -R hadoop:hadoop /home/batch  
$ ./home/batch

\#The contents of the batch file are as follows:

scp conf/slaves [hadoop@slave0x:hadoop-1.0.3/conf/][hadoop_slave0x_hadoop-1.0.3_conf]

scp /etc/hosts [root@slave0x:/etc/hosts][root_slave0x_etc_hosts]

==============================================

**Start the new or broken node in the new node.**

bin/Hadoop-daemon.sh start datanode  
bin/Hadoop-daemon.sh start tasktracker

**Balancing the utilization of the disks in the master node.**

bin/start-balancer.sh -threshold 0.1

**!attention** the default threshold value is 0.1, and the lower the more balance, but the more time will be used.

[hadoop_slave0x_hadoop-1.0.3_conf]: mailto:hadoop@slave0x:hadoop-1.0.3/conf/
[root_slave0x_etc_hosts]: mailto:root@slave0x:/etc/hosts

发表评论取消回复

表情：

评论列表（有 0 条评论，206人围观）

还没有评论，来说两句吧...

相关阅读

相关 The method flatten(Node, IntFunction) in the type Nodes is not applicable for the arguments

场景： 1、springcloud eureka server 2、jdk8 启动项目时报错：The method flatten(Node<T>, IntFunctio

r囧r小猫/ 2023年08月17日 15:23/ 0 赞/ 148 阅读

相关 redis：cluster nodes

作用 cluster nodes ：列出集群当前已知的所有节点（ node），以及这些节点的相关信息集群中的每个节点都有当前集群配置的一个视图（快照），视图的信

亦凉/ 2022年09月17日 03:11/ 0 赞/ 239 阅读

相关 New RStudio add-in to schedule R scripts

By [BNOSAC - Belgium Network of Open Source Analytical Consultants][] (This article wa

Bertha 。/ 2022年07月27日 15:59/ 0 赞/ 183 阅读

相关 Add bricks in the wall UVA - 11040——递推

Think: 1递推公式： 1>奇数行未知元素：a\[i\]\[j\] = (a\[i-2\]\[j-1\] - a\[i\]\[j-1\] - a\[i\]\[j+1

约定不等于承诺〃/ 2022年06月14日 04:30/ 0 赞/ 144 阅读

相关 Hadoop Single Node Cluster环境搭建

参考： [linux中执行jps进程没有完全显示5个进程][linux_jps_5] [How I was finally able to run the infamo

叁歲伎倆/ 2022年05月24日 07:28/ 0 赞/ 153 阅读

相关 RedisConnectionFailureException: No reachable node in cluster

RedisConnectionFailureException: No reachable node in cluster; nested exception is redis

妖狐艹你老母/ 2022年05月17日 12:37/ 0 赞/ 202 阅读

相关 hadoop cluster tips

用user用户运行课本上的单机版测试程序报错 org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Inp

刺骨的言语ヽ痛彻心扉/ 2022年02月21日 10:05/ 0 赞/ 188 阅读

相关 add new node in hadoop without restarting the cluster

For the new node step 1:modify /etc/hostname slave0X =============================

淩亂°似流年/ 2022年02月12日 14:53/ 0 赞/ 207 阅读

相关 hadoop cluster decommission node (下线节点，超级实用)

一、描述为了节约成本，避免资源浪费，下线集群中的一个节点，也就是把一台云主机回收喽。 centos 6.6\_64bit hadoop 2.6.0 二、操作

谁践踏了优雅/ 2022年02月05日 05:39/ 0 赞/ 263 阅读

相关 Hadoop: Setting up a Single Node Cluster.

[http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.ht

Love The Way You Lie/ 2022年01月23日 09:01/ 0 赞/ 176 阅读