FastDFS集群部署

傷城~ 2022-02-09 12:13 420阅读 0赞

之前介绍过FastDFS的单机部署，详见[FastDFS+Nginx(单点部署)][FastDFS_Nginx]  
接下来记录下FastDFS的集群部署。

## 一、服务器规划 ##

<table> 
 <thead> 
  <tr> 
   <th>服务器地址</th> 
   <th>用途</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.0.121</td> 
   <td>跟踪服务器1（Tracker-01）</td> 
  </tr> 
  <tr> 
   <td>192.168.0.122</td> 
   <td>跟踪服务器2（Tracker-02）</td> 
  </tr> 
  <tr> 
   <td>192.168.0.123</td> 
   <td>存储服务器1（Storage-group1-01）</td> 
  </tr> 
  <tr> 
   <td>192.168.0.124</td> 
   <td>跟踪服务器2（Storage-group1-02）</td> 
  </tr> 
  <tr> 
   <td>192.168.0.125</td> 
   <td>跟踪服务器3（Storage-group2-01）</td> 
  </tr> 
  <tr> 
   <td>192.168.0.126</td> 
   <td>跟踪服务器4（Storage-group2-02）</td> 
  </tr> 
 </tbody> 
</table>

系统：centos7  
用户：root

## 二、相关软件安装包 ##

libfastcommon-1.0.7.tar.gz   
    FastDFS_v5.05.tar.gz
    fastdfs-nginx-module_v1.16.tar.gz
    nginx-1.13.11.tar.gz
    ngx_cache_purge-2.3.tar.gz

源码地址： [https://github.com/happyfish100/][https_github.com_happyfish100]  
下载地址： [http://sourceforge.net/projects/fastdfs/file][http_sourceforge.net_projects_fastdfs_file]  
官方论坛： [http://bbs.chinaunix.net/forum-240-1.html][http_bbs.chinaunix.net_forum-240-1.html]

所有的软件我都上传到了github上了，如果官网访问不了，可以点击[这个地址][Link 1]，我们把下载下来的包都放在/usr/local/src/目录下。

## 三、FastDFS 的安装（所有跟踪服务器和存储服务器均执行如下操作） ##

**1、安装所需的依赖包**

yum install make cmake gcc gcc-c++

**2、安装FastDFS依赖包libfastcommon**

cd /usr/local/src
    tar -zxvf libfastcommon-1.0.7.tar.gz 
    cd libfastcommon-1.0.7
    ./make.sh
    ./make.sh install

**3、安装FastDFS**

cd /usr/local/src/
    tar -zxvf FastDFS_v5.05.tar.gz
    cd FastDFS
    ./make.sh
    ./make.sh install

采用默认安装方式，相应的文件与目录检查如下：  
1）服务脚本

/etc/init.d/fdfs_storaged
    /etc/init.d/fdfs_trackerd

2）配置文件（示例配置文件）

/etc/fdfs/client.conf.sample
    /etc/fdfs/storage.conf.sample
    /etc/fdfs/tracker.conf.sample

3）命令行工具（/usr/bin目录下）

/usr/bin/fdfs_appender_test
    /usr/bin/fdfs_appender_test1
    /usr/bin/fdfs_append_file
    /usr/bin/fdfs_crc32
    /usr/bin/fdfs_delete_file
    /usr/bin/fdfs_download_file
    /usr/bin/fdfs_file_info
    /usr/bin/fdfs_monitor
    /usr/bin/fdfs_storaged
    /usr/bin/fdfs_test
    /usr/bin/fdfs_test1
    /usr/bin/fdfs_trackerd
    /usr/bin/fdfs_upload_appender
    /usr/bin/fdfs_upload_file

4）因为 FastDFS 服务脚本设置的 bin 目录是/usr/local/bin， 但实际命令安装在/usr/bin，所以需要修改 FastDFS 服务脚本中相应的命令路径，也就是把/etc/init.d/fdfs\_storaged和/etc/init.d/fdfs\_tracker 两个脚本中的/usr/local/bin 修改成/usr/bin:

vim /etc/init.d/fdfs_trackerd
    使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin
    
    vim /etc/init.d/fdfs_storaged
    使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin

注意： 以上操作无论是配置 tracker 还是配置 storage 都是必须的，而 tracker 和 storage 的区别主要是在安装完 fastdfs 之后的配置过程中。

## 三、配置tracker服务器（192.168.0.121、192.168.0.122） ##

**1、复制tracker样例配置文件，并重命名**

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

**2、修改tracker配置文件**

vim /etc/fdfs/tracker.conf
    # 修改的内容如下：
    disabled=false              # 启用配置文件
    port=22122                  # tracker服务器端口（默认22122）
    base_path=/fastdfs/tracker  # 存储日志和数据的根目录
    store_lookup=0              # 轮询方式上传

其它参数保留默认配置， 具体配置解释可参考官方文档说明：  
[http://bbs.chinaunix.net/thread-1941456-1-1.html][http_bbs.chinaunix.net_thread-1941456-1-1.html]  
**3、创建基础数据目录**

mkdir -p /data/fastdfs/tracker

**4、启动tracker服务器**

/etc/init.d/fdfs_trackerd start
    或者
    systemctl start fdfs_trackerd
    或者
    fdfs_trackerd /etc/fdfs/tracker.conf start

初次启动，会在/data/fastdfs/tracker目录下生成logs、data两个目录。

drwxr-xr-x 2 root root 178 May  3 22:34 data
    drwxr-xr-x 2 root root  26 May  2 18:57 logs

检查FastDFS Tracker Server是否启动成功：

ps aux | grep fdfs_trackerd

**5、tracker server的关闭命令**

/etc/init.d/fdfs_trackerd stop
    或者
    systemctl stop fdfs_trackerd
    或者
    fdfs_trackerd /etc/fdfs/tracker.conf stop

**6、设置tracker server开机启动**

chkconfig fdfs_trackerd on

## 四、配置storage服务器（192.168.0.123、192.168.0.124、192.168.0.125、192.168.0.126） ##

**1、复制storage样例配置文件，并重命名**

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

**2、修改storage配置文件**

vim /etc/fdfs/storage.conf
    # 修改的内容如下：
    disabled=false     # 启用配置文件
    port=23000                                         # storage的端口号,同一个组的 storage 端口号必须相同
    base_path=/data/fastdfs/storage       # 存储日志和数据的根目录
    store_path0=/data/fastdfs/storage     # 第一个存储目录
    store_path_count=1                    #存储路径个数，需要和store_path个数匹配
    tracker_server=192.168.0.121:22122    # tracker服务器的IP地址和端口
    tracker_server=192.168.0.122:22122    # 多个tracker直接添加多条配置

配置group\_name  
不同分组配置不同group\_name，第一组为group1， 第二组为group2

group_name=group1
    group_name=group2

mkdir -p /data/fastdfs/storage

**4、启动storage服务器**

/etc/init.d/fdfs_storaged start
    或者
    systemctl start fdfs_storaged
    或者
    fdfs_storaged /etc/fdfs/tracker.conf start

初次启动，会在/data/fastdfs/storage目录下生成logs、data两个目录。

drwxr-xr-x 259 root root 8192 May  3 23:06 data
    drwxr-xr-x   2 root root   26 May  2 19:12 logs

检查FastDFS Tracker Server是否启动成功：

ps aux | grep fdfs_storaged

所有 Storage 节点都启动之后，可以在任一 Storage 节点上使用如下命令查看集群信息：

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70]  
看到存储节点状态为 ACTIVE 则表示已生效。

**5、storage server的关闭命令**

/etc/init.d/fdfs_storaged stop
    或者
    systemctl stop fdfs_storaged
    或者
    fdfs_storaged /etc/fdfs/tracker.conf stop

**6、设置storage server开机启动**

chkconfig fdfs_storaged on

## 五、文件上传测试（192.168.0.121） ##

**1、修改Tracker服务器客户端配置文件**

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
    vim /etc/fdfs/client.conf
    # 修改以下配置，其它保持默认
    base_path=/data/fastdfs/tracker
    tracker_server=192.168.0.121:22122 # tracker服务器IP和端口
    tracker_server=192.168.0.122:22122  #tracker服务器IP2和端口

**2、执行文件上传命令**

#/root/test.png 是需要上传文件路径 
    /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.png
    返回文件ID号：group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
    （能返回以上文件ID，说明文件已经上传成功）

## 六、在所有storage节点（192.168.0.123、192.168.0.124、192.168.0.125、192.168.0.126）安装Nginx ##

**1、fastdfs-nginx-module 作用说明**  
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储， 但是同组存储服务器之间需要进入文件复制， 有同步延迟的问题。假设 Tracker 服务器将文件上传到了 192.168.50.137，上传成功后文件 ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.50.138，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 192.168.50.138 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。（解压后的 fastdfs-nginx-module 在 nginx 安装时使用）  
**2、解压fastdfs-nginx-module\_v1.16.tar.gz**

cd /usr/local/src/
    tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

**3、修改 fastdfs-nginx-module的config配置文件**

cd fastdfs-nginx-module/src
    vim config
    将/usr/local/路径改为/usr/，或者直接执行命令:%s+/usr/local/+/usr/+g批量替换

**4、安装nginx**

yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
    cd /usr/local/src/
    tar -zxvf nginx-1.13.11.tar.gz
    cd nginx-1.13.11
    ./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/fastdfs-nginx-module/src
    make && make install

**5、复制 fastdfs-nginx-module 源码中的配置文件到 /etc/fdfs 目录，并修改**

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
    vim /etc/fdfs/mod_fastdfs.conf

修改以下配置：

connect_timeout=10
    base_path=/tmp
    tracker_server=192.168.0.121:22122  # tracker服务器IP和端口
    tracker_server=192.168.0.122:22122  # tracker服务器IP2和端口
    group_name=group1                   # 当前服务器的group名
    url_have_group_name=true            # url中包含group名称
    store_path0=/data/fastdfs/storage   # 存储路径
    group_count=2                       # 设置组的个数
    
    #在最后添加 
    [group1]
    group_name=group1
    storage_server_port=23000
    store_path_count=1
    store_path0=/data/fastdfs/storage
    
    [group2]
    group_name=group2
    storage_server_port=23000
    store_path_count=1
    store_path0=/data/fastdfs/storage

注意group\_name的设置，如果是group1就设置为group1，如果是group2就设置为group2。

**6、复制 FastDFS 的部分配置文件到 /etc/fdfs 目录**

cd /usr/local/src/FastDFS/conf
    cp http.conf mime.types /etc/fdfs/

**7、配置 Nginx，简洁版nginx配置样例**

user nobody;
    worker_processes 1;
    events {
        worker_connections 1024;
    }
    http {
        include mime.types;
        default_type application/octet-stream;
        sendfile on;
        keepalive_timeout 65;
        server {
            listen 8888;
            server_name localhost;
            location ~/group[1-2]/M00 {
                ngx_fastdfs_module;
            }
            error_page 500 502 503 504 /50x.html;
            location = /50x.html {
                root html;
            }
        }
    
    }

说明：  
A、8888 端口值是要与/etc/fdfs/storage.conf中的 http.server\_port=8888 相对应，因为 http.server\_port 默认为 8888，如果想改成 80，则要对应修改过来。  
B、Storage 对应有多个 group 的情况下，访问路径带 group 名，如/group1/M00/00/00/xxx，对应的 Nginx 配置为：

location ~/group([0-9])/M00 {
           ngx_fastdfs_module;
    }

C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

**8、启动Nginx**

/usr/local/nginx/sbin/nginx

**9、通过浏览器访问测试时上传的文件**  
[http://192.168.0.123:8888/group1/M00/00/00/wKgAfFzMX\_2AB9V9AADa-k\_GxyQ840.jpg][http_192.168.0.123_8888_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]  
[http://192.168.0.124:8888/group1/M00/00/00/wKgAfFzMX\_2AB9V9AADa-k\_GxyQ840.jpg][http_192.168.0.124_8888_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]

## 七、在tracker节点（192.168.0.121、192.168.0.122）安装Nginx ##

**1、 在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务**

**2、安装nginx，加入ngx\_cache\_purge（加入缓存模块）**

yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
    cd /usr/local/src/
    tar -zxvf nginx-1.13.11.tar.gz
    tar -zxvf ngx_cache_purge-2.3.tar.gz
    cd nginx-1.13.11
    ./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/ngx_cache_purge-2.3
    make && make install

**3、配置nginx负载均衡和缓存**

user root;
    worker_processes 1;
    #error_log logs/error.log;
    #error_log logs/error.log notice;
    #error_log logs/error.log info;
    #pid logs/nginx.pid;
    events {
    	worker_connections 1024;
    	use epoll;
    }
    http {
    	include mime.types;
    	default_type application/octet-stream;
    	#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
    	# '$status $body_bytes_sent "$http_referer" '
    	# '"$http_user_agent" "$http_x_forwarded_for"';
    	#access_log logs/access.log main;
    	sendfile on;
    	tcp_nopush on;
    	#keepalive_timeout 0;
    	keepalive_timeout 65;
    	#gzip on;
    	#设置缓存
    	server_names_hash_bucket_size 128;
    	client_header_buffer_size 32k;
    	large_client_header_buffers 4 32k;
    	client_max_body_size 300m;
    	proxy_redirect off;
    	proxy_set_header Host $http_host;
    	proxy_set_header X-Real-IP $remote_addr;
    	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    	proxy_connect_timeout 90;
    	proxy_send_timeout 90;
    	proxy_read_timeout 90;
    	proxy_buffer_size 16k;
    	proxy_buffers 4 64k;
    	proxy_busy_buffers_size 128k;
    	proxy_temp_file_write_size 128k;
    	#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限
    	proxy_cache_path /data/fastdfs/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:200m max_size=1g inactive=30d;
    	proxy_temp_path /data/fastdfs/cache/nginx/proxy_cache/tmp;
    	#设置 group1 的服务器
    	upstream fdfs_group1 {
    		server 192.168.0.123:8888 weight=1 max_fails=2 fail_timeout=30s;
    		server 192.168.0.124:8888 weight=1 max_fails=2 fail_timeout=30s;
    	}
    	#设置 group2 的服务器
    	upstream fdfs_group2 {
    		server 192.168.0.125:8888 weight=1 max_fails=2 fail_timeout=30s;
    		server 192.168.0.126:8888 weight=1 max_fails=2 fail_timeout=30s;
    	}
    	server {
    		listen 8000;
    		server_name localhost;
    		#charset koi8-r;
    		#access_log logs/host.access.log main;
    		#设置 group 的负载均衡参数
    		location /group1/M00 {
    			proxy_next_upstream http_502 http_504 error timeout invalid_header;
    			proxy_cache http-cache;
    			proxy_cache_valid 200 304 12h;
    			proxy_cache_key $uri$is_args$args;
    			proxy_pass http://fdfs_group1;
    			expires 30d;
    		}
    		location /group2/M00 {
    			proxy_next_upstream http_502 http_504 error timeout invalid_header;
    			proxy_cache http-cache;
    			proxy_cache_valid 200 304 12h;
    			proxy_cache_key $uri$is_args$args;
    			proxy_pass http://fdfs_group2;
    			expires 30d;
    		} 
    		#设置清除缓存的访问权限
    		location ~/purge(/.*) {
    			allow 127.0.0.1;
    			allow 192.168.0.0/24;
    			deny all;
    			proxy_cache_purge http-cache $1$is_args$args;
    		}
    		#error_page 404 /404.html;
    		# redirect server error pages to the static page /50x.html
    		#
    		error_page 500 502 503 504 /50x.html;
    			location = /50x.html {
    			root html;
    		}
    	}
    }

按以上 nginx 配置文件的要求，创建对应的缓存目录：

mkdir -p /data/fastdfs/cache/nginx/proxy_cache
    mkdir -p /data/fastdfs/cache/nginx/proxy_cache/tmp

**4、启动Nginx**

/usr/local/nginx/sbin/nginx

**5、文件访问测试**  
前面直接通过访问Storage节点中的Nginx来访问文件  
[http://192.168.0.123:8888/group1/M00/00/00/wKgAfFzMX\_2AB9V9AADa-k\_GxyQ840.jpg][http_192.168.0.123_8888_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]  
[http://192.168.0.124:8888/group1/M00/00/00/wKgAfFzMX\_2AB9V9AADa-k\_GxyQ840.jpg][http_192.168.0.124_8888_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]  
现在可以通过Tracker中的Nginx来进行访问  
1）通过Tracker1中的Nginx来访问  
[http://192.168.0.121:8000/group1/M00/00/00/wKgAfFzMX\_2AB9V9AADa-k\_GxyQ840.jpg][http_192.168.0.121_8000_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]  
2）通过Tracker2中的Nginx来访问  
[http://192.168.0.122:8000/group1/M00/00/00/wKgAfFzMX\_2AB9V9AADa-k\_GxyQ840.jpg][http_192.168.0.122_8000_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]

由上面的文件访问效果可以看到，每一个 Tracker 中的 Nginx 都单独对后端的 Storage 组做了负载均衡，但整套FastDFS集群如果想对外提供统一的文件访问地址，还需要对两个Tracker中的Nginx进行HA集群。

## 八、实现高可用的访问 ##

上面说到了，现在的文件访问时通过192.168.0.121:8000或者192.168.0.122:8000来实现的,这样并未实现访问文件的高可用。  
**1、如果是在阿里云的ECS上搭建FastDFS集群（或者其他云平台）**  
如果是在阿里云上，那非常简单，直接用SLB（或者类似负载均衡）代理到两台Tracker服务器上就行。

**2、内网环境搭建FastDFS集群**  
我们需要在内网环境中再搭建两套Nginx+Keepalived服务，用一个VIP实现高可用。具体实现比较简单，这边不在赘述。

参考文章：  
[https://blog.csdn.net/l1028386804/article/details/72803681][https_blog.csdn.net_l1028386804_article_details_72803681]  
[https://www.jianshu.com/p/171d3169aaeb][https_www.jianshu.com_p_171d3169aaeb]

[FastDFS_Nginx]: https://blog.csdn.net/wc1695040842/article/details/89608482
[https_github.com_happyfish100]: https://github.com/happyfish100/
[http_sourceforge.net_projects_fastdfs_file]: http://sourceforge.net/projects/fastdfs/file
[http_bbs.chinaunix.net_forum-240-1.html]: http://bbs.chinaunix.net/forum-240-1.html
[Link 1]: https://github.com/wangchaoforever/peizhiwenjian/tree/master/fastdfs
[http_bbs.chinaunix.net_thread-1941456-1-1.html]: http://bbs.chinaunix.net/thread-1941456-1-1.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70]: /images/20220206/7a150bbaf96f45c68eeedfbc7c44daa5.png
[http_192.168.0.123_8888_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]: http://192.168.0.123:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
[http_192.168.0.124_8888_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]: http://192.168.0.124:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
[http_192.168.0.121_8000_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]: http://192.168.0.121:8000/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
[http_192.168.0.122_8000_group1_M00_00_00_wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg]: http://192.168.0.122:8000/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
[https_blog.csdn.net_l1028386804_article_details_72803681]: https://blog.csdn.net/l1028386804/article/details/72803681
[https_www.jianshu.com_p_171d3169aaeb]: https://www.jianshu.com/p/171d3169aaeb