[hadoop] hadoop二次开发阅读源码

爱被打了一巴掌 2021-11-09 01:31 311阅读 0赞

### 学习目标 ###

1.  hadoopRPC实现原理
2.  namenode工作原理
3.  datanade工作原理

### RPC： ###

1.客户端调用服务端的方法，

2.服务端初始化的时候会创建一个死循环的进程，供客户端调用

3.RPC ：Remote Procedure Call 不同进程间方法的调用

4.Hadoop RPC: 不同进程的方法的调用

5.http也是一种RPC：可以实现不同进程的方法的调用

实例：

#服务端
    Server server =new RPC.Builder(new Configuration())
    		.setBindAddress("localhost")
    		.setPort(9999)
    		.setProtocol(ClientProtocol.class)
    		.setInstance(new NameNodeRpcServer())
    		.build();
    		/**
    		 * 这样的话，就把服务给启动起来了
    		 * 服务启动起来了以后，等待别人的调用。
    		 */
    		server.start();
    
    
    #客户端
       
    //获取服务端的代理
    		ClientProtocol namenode= RPC.getProxy(
    				ClientProtocol.class,
    				1234L, 
    				new InetSocketAddress("localhost", 9999) , new Configuration());
    		//通过这个代理去调用服务端的代码
    		namenode.mkdirPath("/usr/local/host");

RPC总结：

1.  不同进程的方法的调用
2.  RPC 分为客户端和服务端，客户端调用服务端的方法。方法的执行是在服务端
3.  其实我们里面一直说的协议其实说白了就是一个接口 但是这个接口有个要求，里面必须要有versionID
4.  协议里面会很多抽象方法，里面的抽象方法由服务端来去实现。 或者说，谁实现了这些抽象方法，谁就是服务端。

### namenode启动流程 ###

Rpc初始化

1.namenode初始化的时候会创建两个httpserver，分别是serviceRpcserver和clientRpcserver

2.每个httpserver会绑定多个service，每个service会绑定多个协议

3.serviceRpcserve主要服务内部（namenode元数据管理和datanode），clientRpcserver主要响应客户端(clientRpc调用)

4.客户端代用操作服务端的namedemo方法的协议

公共服务初始化

1.进行资源检查，检查磁盘资源是否足够存储元数据 hadoop-deamon.sh start namenode  >100M

2.会检查三个目录 namenode的存储fsimage目录，editlog目录；journlanode也有存储元数据的目录

3 初始化FsNameSystem的blockmanager，leasemanager，safemodeinfo和fsimage对象

4.fsimage持久化到磁盘的镜像文件，保证hfds高可用，数据持久化到磁盘，双缓冲机制

5.进入安全模式检查，检查是否可以退出安全模式

6.blockmanager，leasemanager计算block的个数阈值，是否小于阈值进入安全模式

7.safemodeinfo 记录存活的datanode个数 live datanode是否大于0 进入安全模式

8.通过设置block的阈值，来配置进入安全模式的规则

9.启动namenode服务，接着启动datanode

## ##

### datanode初始化 ###

1.实例化DataXserviceServer ，用来接收客户端和其他datanode传过来的数据，并设置为后台线程

2.启动httpServer,绑定了多个servlet，用来接收http的请求，主要用于内部的namenode和datanode的传输

3.启动Rpc服务端，绑定多个service，每个service绑定多个协议

4.初始化blockpoolManager,用于管理block和datanode心跳机制

5.遍历联邦，一个联邦就是一个nameservice（每个联邦里会有多个HA架构，一个HA架构有两个namenode，两个namenode 对应一个namespace命名空间）

6.遍历创建BPOfferService(namespace)，一个BPOfferService对应两个BPserviceActor(namenode)

7.dataStorage,datanade的数据存储

8.完成初始化

### datanode注册发送心跳 ###

datanade注册

1.遍历BPOfferService (namespace)命名空间中的BPserviceActor 获得nadenode的信息

2.调用NamenadeRpc验证VersionRequest是否正确

3.启动datanade的注册线程，将datanade注册到namenode上：

1）获取namenode的代理，调用namenode的方法，往namenode传输datanade信息(地址，端口号等)

2）调用namnode的 registerDatanade 的方法,往nodenade上注册信息：

3）注册datanode，往一堆数据结构里添加信息

4）注册结束，发送心跳

### datanade 发送心跳 ###

1.每三秒发送一次心跳，返回namenode的响应指令（datanode和namenode不直接进行连接，通过心跳的方式获取namenode的指令）

2.调用namenode的方法发送心跳:告诉namenode 有哪些datanade信息(datanade状态，资源等)

3.namenode接收心跳，处理发送过来的心跳信息，并返回响应的指令给datanade

4.namenode获取datanode信息，更新datanode的心跳状态和存储数据，修改上一次的心跳时间

5.namenode通过心跳判断一个datanode是否存活，用当前心跳时间减去上一次的心跳时间超过阈值，判断datanode是否存活

### Hdfs 初始化上传 ###

目的：上传文件，查看hdfs上传文件的流程

初始化：

添加元数据

1.客户端使用Rpc代理 调用 namenodeRpcserver创建Fsnamesystem

2.Fsnamesystem调用FSdirectory方法在 目录树的子目录下挂载文件

3.hdfs为了保证元数据的安全性会将数据持久化到磁盘，调用FSeditlog，使用双缓冲，磁盘交换机制，在几乎不影响性能的情况下实现元数据持久化到磁盘

添加契约

1.Fsnamesystem 启动LeaseManager（契约管理者）并在各种数据结构中添加契约

2. LeaseManager 管理 契约的生存周期，每隔2秒检查写入的数据是否符合添加的契约，就是检查是否有写入的权限，写入的数据不符合契约没有权限，LeaseManager会释放契约，还会检查契约是否超过一小时，也会释放。

3.启动完LeaseManager 契约管理者，客户端会每隔30s使用LaseRenewer调用Rpc服务端 通过Fsnamesystem续约一次，就是心跳机制，每隔30s客户端向服务端更新一个服务端上契约的过期时间。

正式上传

[hadoop] hadoop二次开发阅读源码

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Hadoop安装(二) --- Hadoop安装

相关 Hadoop3.2.1 【 YARN 】源码分析 : ApplicationMasterService 源码浅析 [ 二 ]

相关编译Hadoop源码过程

相关 hadoop源码分析（MapReduce）

相关 Hadoop WordCount源码解读

相关 [Hadoop] Hadoop2.8.1源码编译

相关 hadoop源码之JobQueueTaskScheduler

相关 hadoop的二次排序

相关 [hadoop] hadoop二次开发阅读源码

相关七、Hadoop源码编译