FastDFS之介绍

心已赠人 2022-08-05 00:42 282阅读 0赞

FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。  
项目网址：[http://code.google.com/p/fastdfs/][http_code.google.com_p_fastdfs]

下载地址：[http://code.google.com/p/fastdfs/downloads/list][http_code.google.com_p_fastdfs_downloads_list]

最新：[http://sourceforge.net/projects/fastdfs/][http_sourceforge.net_projects_fastdfs]  
**一、FastDFS架构**

**![Center][]**  
FastDFS服务端有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）。  
**tracker server**：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简，不记录文件索引信息，占用的内存量很少。跟踪器主要做调度工作，在访问上起负载均衡的作用。  
**storage server**：存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。  
**client**：客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。  
存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key valuepair）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是文件属性列表，可以包含多个键值对。  
   为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。  
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。  
**二、特性**  
相对于MogileFS，FastDFS具有如下特点和优势：  
1.FastDFS完善程度较高，不需要二次开发即可直接使用；  
2.和MogileFS相比，FastDFS裁减了跟踪用的数据库，只有两个角色：tracker和storage。FastDFS的架构既简化了系统，同时也消除了性能瓶颈；  
3.在系统中增加任何角色的服务器都很容易：增加tracker服务器时，只需要修改storage和client的配置文件（增加一行tracker配置）；增加storage服务器时，通常不需要修改任何配置文件，系统会自动将该卷中已有文件复制到该服务器；  
4.FastDFS比MogileFS更高效。表现在如下几个方面：  
1）参见上面的第2点，FastDFS和MogileFS相比，没有文件索引数据库，FastDFS整体性能更高；  
2）从采用的开发语言上看，FastDFS比MogileFS更底层、更高效。FastDFS用C语言编写，代码量不到2万行，没有依赖其他开源软件或程序包，安装和部署特别简洁；而MogileFS用perl编写；  
3）FastDFS直接使用socket通信方式，相对于MogileFS的HTTP方式，效率更高。并且FastDFS使用sendfile传输文件，采用了内存零拷贝，系统开销更小，文件传输效率更高。  
5. FastDFS有着详细的设计和使用文档，而MogileFS的文档相对比较缺乏。  
6. FastDFS的日志记录非常详细，系统运行时发生的任何错误信息都会记录到日志文件中，当出现问题时方便管理员定位错误所在。  
7. FastDFS还对文件附加属性（即meta data，如文件大小、图片宽度、高度等）进行存取，应用不需要使用数据库来存储这些信息。  
8. FastDFS从V1.14开始支持相同文件内容只保存一份，这样可以节省存储空间，提高文件访问性能。  
**三、操作流程**  
上传文件交互过程：

![Center 1][]  
1. client询问tracker上传到的storage，不需要附加参数；  
2. tracker返回一台可用的storage；  
3. client直接和storage通讯完成文件上传。   
下载文件交互过程：

![Center 2][]  
1. client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；  
2. tracker返回一台可用的storage；  
3. client直接和storage通讯完成文件下载。  
需要说明的是，client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。  
**四、用途**  
1）FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。  
2）FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储 ，支持存储服务器在线扩容。  
3）FastDFS特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等。

参考文章：

1.[分布式文件系统FastDFS的神秘面纱][FastDFS]

2.[实战FastDFS分布式文件系统][FastDFS 1]

3.[分布式文件系统FastDFS设计原理][FastDFS 2]

[http_code.google.com_p_fastdfs]: http://code.google.com/p/fastdfs/
[http_code.google.com_p_fastdfs_downloads_list]: http://code.google.com/p/fastdfs/downloads/list
[http_sourceforge.net_projects_fastdfs]: http://sourceforge.net/projects/fastdfs/
[Center]: /images/20220805/692eb0f24dc14b80b53e9130385b34a5.png
[Center 1]: /images/20220805/f924d80d7ae24e12a27dab2043a62cf9.png
[Center 2]: /images/20220805/f0dc6ecbcef24c828a6cf8b786579a18.png
[FastDFS]: http://os.51cto.com/art/201210/360245.htm
[FastDFS 1]: http://blog.csdn.net/column/details/fastdfs.html
[FastDFS 2]: http://blog.chinaunix.net/uid-20196318-id-4058561.html