hdfs架构与使用以及启动流程

蔚落 2022-10-15 11:58 183阅读 0赞

## hdfs架构： ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc_size_16_color_FFFFFF_t_70][]

Haoop1存在的问题：

*  name node 单点故障
 *  name node内存受限

### 如何解决单点故障： ###

自然而然会想到，再加一个name node节点，但是，他是有状态的，那么就需要数据同步，可以直接交互同步，但是为了解耦合，易扩展，我们引入QJM（也可以用zk替代）；

还有个问题需要解决，故障时候，自动切换问题，这时候就要引入zk，然后通过zkfc（由于有状态的特殊性，所以比较复杂）对namenode监控，然后对zk进行操作，最终做到故障自动切换；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc_size_16_color_FFFFFF_t_70 1][]

### 如何解决 ###

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc_size_16_color_FFFFFF_t_70]: /images/20221014/01a5fdab860746d4acd6a4f11023edd1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2021052620360428.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc=,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，183人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS源码分析——DataNode启动流程

DataNode启动流程 1. 概述 2. 解析 secureMain→createDataNode→instantiateDataNode→ma

╰半夏微凉°/ 2024年04月03日 10:16/ 0 赞/ 84 阅读

相关 HDFS源码分析——NameNode启动流程

NameNode启动流程准备工作 1. 概述 2. 解析 main→createNameNode→new NameNode→initial

川长思鸟来/ 2024年04月03日 08:56/ 0 赞/ 84 阅读

相关 SpringMVC框架结构以及架构流程

框架结构： ![70][] ![Image 1][] 架构流程： 1.用户发送请求至前端控制器DispatcherServlet。 2.DispatcherS

电玩女神/ 2023年10月18日 08:51/ 0 赞/ 34 阅读

相关 HDFS 启动与停止

文章目录 1.格式化 2.Start NameNode daemon and DataNode daemon 3.停止 1.格式化第一次使用需

柔情只为你懂/ 2023年07月24日 11:39/ 0 赞/ 27 阅读

相关 Hadoop: Yarn架构以及执行流程

[YARN产生背景及架构][YARN] 资源调度框架Yarn hadoop2.x才有的在1.x中，mapreduce存在一定的单点风险，JobTracker干的事情太多了

叁歲伎倆/ 2023年06月27日 12:58/ 0 赞/ 22 阅读

相关 hdfs架构与使用以及启动流程

hdfs架构： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

蔚落/ 2022年10月15日 11:58/ 0 赞/ 184 阅读

相关 hdfs启动流程

NameNode 1.init() namenode初始化，执行加载配置文件等操作 2.loadFsImage() 2、loadFsImage() ,开始加载元数据

忘是亡心i/ 2022年10月05日 10:42/ 0 赞/ 236 阅读

相关 HDFS架构（ HDFS Architecture）

HDFS架构介绍 Hadoop分布式文件系统（HDFS）是一个运行在普通商用服务器上的分布式文件系统。他和很多的分布式文件系统类似，但是也有很显著的不同。HDFS

迈不过友情╰/ 2022年08月17日 15:11/ 0 赞/ 297 阅读

相关 HDFS常用命令启动流程

第一次启动集群 hadoop-daemon.sh start journalnode nn1:hdfs namenode -format 产生clusterid

谁借莪１个温暖的怀抱￠/ 2022年05月18日 09:54/ 0 赞/ 183 阅读

相关 HDFS 架构

前段时间搭建了一套Hadoop集群的测试环境，因为服务器故障，废了。这几天闲来无事，想着把Storm用Yarn管理起来，于是再来一遍，同时也梳理下Hadoop组件中的一些概念。

落日映苍穹つ/ 2021年09月26日 05:54/ 0 赞/ 456 阅读