MFS分布式文件系统实战（1）——掌握MFS基础知识

青旅半醒 2023-07-19 04:55 20阅读 0赞

### 文章目录 ###

*   *  一、什么是MFS（分布式文件系统）？
     *  二、MFS相关原理
     *   *   *  分布式原理
             *  MFS原理
     *  三、架构及实现原理
     *  四、MFS处理数据的过程
     *   *   *  MFS读取数据的处理过程
             *  MFS写入数据的处理过程
             *  MFS删除数据的处理过程
             *  MFS修改数据的处理过程
     *  五、MFS默认端口

## 一、什么是MFS（分布式文件系统）？ ##

MooseFS是一种分布式文件系统，它把数据分散存放在多个物理服务器上，前面只放置一台负责“调度”元数据服务器，最终呈现给用户的则是一个统一的资源。相对于集中式文件系统来说，分布式系统拥有更好的扩展性、稳定性、数据的安全性。

## 二、MFS相关原理 ##

#### 分布式原理 ####

*  分布式文件系统（distributed file system）是指文件系统管理的物质存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单说就是把一些分布在局域网内各个计算机上的共享文件夹，集合到一个虚拟共享文件夹内，客户端访问只需要打开这个虚拟共享文件夹即可。
 *  分布式文件系统的优点：集中访问、简化操作、数据容灾、提高了文件的存储性能。

#### MFS原理 ####

MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一整合的资源。

## 三、架构及实现原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhcGVqYXNtaW5lWQ_size_16_color_FFFFFF_t_70]

*  元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据。
 *  元数据日志服务器（MetaLogger）：备份Master服务器的变化日志文件，文件类型为changelog\_ml.\*.mfs 当Master服务器数据丢失或者损坏时，可以从日志服务器中取得进行恢复。
 *  数据存储服务器（Chunk server）：真正存储数据的服务器。将文件分块保存，并相互进行复制。
 *  客户端（Client）：可以像挂载NFS一样挂载MFS文件系统，其操作是相同的。

## 四、MFS处理数据的过程 ##

#### MFS读取数据的处理过程 ####

*  客户端向元数据服务器发出读请求。
 *  元数据服务器把所需数据存放的位置（Chunk server的IP地址和Chunk编号）告知客户端。
 *  客户端向已知的Chunk server请求发送数据。
 *  Chunk server向客户端发送数据。

#### MFS写入数据的处理过程 ####

*  客户端向元数据服务器发送写入请求。
 *  元数据服务器与Chunk server进行交互，但元数据服务器只在某些服务器创建新的分块Chunks，创建成功后由Chunk server告知元数据服务器操作成功。
 *  元数据服务器告知客户端，可以在哪个Chunk server的哪些Chunks写入数据。
 *  客户端向指定的Chunk server写入数据。
 *  该Chunk server与其他Chunk server进行数据同步，同步成功后Chunk server告知客户端数据写入成功。
 *  客户端告知元数据服务器本次写入完毕。

#### MFS删除数据的处理过程 ####

*  客户端首先向Master发送删除信息。
 *  Master定为到相应元数据信息进行删除，并将Chunk server上块的删除操作加入队列异步清理。
 *  告知客户端删除成功。

#### MFS修改数据的处理过程 ####

*  客户端首先向Master发送操作信息。
 *  Master申请新的块给.SWP文件。
 *  客户端关闭文件后，会向Master发送关闭信息。
 *  Mater会检测内容是否有更新，若有，则申请新的块存放更改后的文件，删除原有块和.swp文件块。
 *  若无，则直接删除.swp文件块。

## 五、MFS默认端口 ##

<table> 
 <thead> 
  <tr> 
   <th>端口</th> 
   <th>作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>9419</td> 
   <td>metalogger 监听的端口地址(默认是9419)，和源数据日志结合。定期和master端同步数据</td> 
  </tr> 
  <tr> 
   <td>9420</td> 
   <td>用于chunkserver 连接的端口地址（默认是9420），通信节点</td> 
  </tr> 
  <tr> 
   <td>9421</td> 
   <td>用于客户端对外连接的端口地址（默认是9421）</td> 
  </tr> 
  <tr> 
   <td>9422</td> 
   <td>MFS chunck 和MFS Client端通信端口</td> 
  </tr> 
  <tr> 
   <td>9425</td> 
   <td>MFS master web界面监听端口，查看整体运行状态</td> 
  </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhcGVqYXNtaW5lWQ_size_16_color_FFFFFF_t_70]: /images/20230528/44875f1ce7ca48df957976f4bb144177.png