Hadoop：DataNode 矫情吗；* 2023-02-12 08:28 8阅读 0赞 ### 文章目录 ### * 一、DataNode工作机制 * 二、数据完整性 * 三、DataNode掉线时限参数设置 * 四、服役新数据节点 * 五、退役旧数据节点 * * 5.1 白名单退役 * 5.2 黑名单退役 # 一、DataNode工作机制 # ![在这里插入图片描述][2020052515460325.png] 1. 一个数据块在`DataNode`上以文件形式存储在磁盘上，包括两个文件：一个是数据本身，另一个是元数据包括数据块的长度、块数据校验和，以及时间戳。 2. `DataNode`启动后向`NameNode`注册，通过后，周期性（1小时）的向`NameNode`上报所有的块信息。 3. 心跳是每3秒一次，心跳返回结果带有`NameNode`给该`DataNode`的命令如复制块数据到另一台机器或删除某个数据块。如果超过10分钟没有收到某个`DataNode`的心跳，则认为该节点不可用。 4. 集群运行中可以安全加入和退出一些机器。 # 二、数据完整性 # `DataNode`为了保证传输数据的完整性，采用以下的方法： ![在这里插入图片描述][2020052519394280.png] # 三、DataNode掉线时限参数设置 # ![在这里插入图片描述][2020052519422036.png] 需要注意的是`hdfs-site.xml`配置文件中的`heartbeat.recheck.interval`的单位为毫秒，`dfs.heartbeat.interval`的单位为秒 **进行配置：** <property> <name>dfs.namenode.heartbeat.recheck-interval</name> <value>300000</value> </property> <property> <name>dfs.heartbeat.interval</name> <value>3</value> </property> # 四、服役新数据节点 # **需求**:随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 **服役新节点具体步骤:** ①直接启动`DataNode`，即可关联到集群 [root@hadoop103 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode [root@hadoop103 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager ②如果数据不均衡，可以用命令实现集群的再平衡 [root@hadoop100 hadoop-2.7.2]$ sbin/start-balancer.sh # 五、退役旧数据节点 # ## 5.1 白名单退役 ## 添加到白名单的主机节点，都允许访问`NameNode`，不在白名单的主机节点，都会被退出 ①在`NameNode`的`/opt/module/hadoop-2.7.2/etc/hadoop`目录下创建`dfs.hosts`文件 [root@hadoop100 hadoop]$ vim dfs.hosts hadoop100 hadoop101 hadoop102 ②在`NameNode`的`hdfs-site.xml`配置文件中增加`dfs.hosts`属性 <property> <name>dfs.hosts</name> <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value> </property> ③配置文件分发 [root@hadoop100 hadoop]$ xsync hdfs-site.xml ④刷新`NameNode` [root@hadoop100 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes ⑤更新`ResourceManager`节点 [root@hadoop100 hadoop-2.7.2]$ yarn rmadmin -refreshNodes ⑥如果数据不均衡，可以用命令实现集群的再平衡 [root@hadoop100 hadoop-2.7.2]$ ./start-balancer.sh 此时`Hadoop103`上的`DataNode`节点已经退役 ## 5.2 黑名单退役 ## 在黑名单上面的主机都会被强制退出 ①在`NameNode`的`/opt/module/hadoop-2.7.2/etc/hadoop`目录下创建`dfs.hosts.exclude`文件 [root@hadoop100 hadoop-2.7.2]$ vim dfs.hosts.exclude hadoop105 ②在`NameNode`的`hdfs-site.xml`配置文件中增加`dfs.hosts.exclude`属性 <property> <name>dfs.hosts.exclude</name> <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value> </property> ③刷新`NameNode`、刷新`ResourceManager` [root@hadoop100 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes [root@hadoop100 hadoop-2.7.2]$ yarn rmadmin -refreshNodes ④检查`Web`浏览器，退役节点的状态为`decommission in progress`（退役中），说明数据节点正在复制块到其他节点，如图所示 ![在这里插入图片描述][20200526102409725.png] ⑤等待退役节点状态为`decommissioned`（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役，如图所示 ![在这里插入图片描述][20200526102348262.png] [root@hadoop100 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode [root@hadoop100 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager ⑥如果数据不均衡，可以用命令实现集群的再平衡 [root@hadoop100 hadoop-2.7.2]$ ./start-balancer.sh 注意：不允许白名单和黑名单中同时出现同一个主机名称 [2020052515460325.png]: https://img-blog.csdnimg.cn/2020052515460325.png [2020052519394280.png]: https://img-blog.csdnimg.cn/2020052519394280.png [2020052519422036.png]: https://img-blog.csdnimg.cn/2020052519422036.png [20200526102409725.png]: https://img-blog.csdnimg.cn/20200526102409725.png [20200526102348262.png]: https://img-blog.csdnimg.cn/20200526102348262.png
还没有评论，来说两句吧...