【Django】使用FastDFS docker镜像存储图片和读取图片

亦凉 2022-12-11 09:16 252阅读 0赞

#### 1.FastDFS ####

**FastDFS**是一个用C语言写的开源的轻量级分布式文件系统

功能包括文件存储、文件访问（文件上传、文件下载）、文件同步等，解决了大容量存储和负载均衡的问题，特别适合以文件为载体的在线服务，如相册网站、视频网站

**FastDFS架构** 包括Client、Tracker server和Storage server

我们在Django项目存储和读取图片可以通过FastDFS实现，但这里使用docker运行该镜像

#### 2.docker运行FastDFS ####

##### 2.1 安装FastDFS #####

先在系统上安装好Docker，然后从仓库获取FastDFS镜像

sudo docker image pull delron/fastdfs

##### 2.2 开启tracker #####

将 tracker 运行目录映射到宿主机的 /var/fdfs/tracker目录中

sudo rm -rf /var/fdfs/*
    sudo mkdir /var/fdfs/tracker
    sudo docker container rm -f tracker
    sudo docker run -dit --name tracker --network=host -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker

##### 2.3 开启storage #####

将 storage 运行目录映射到宿主机的 /var/fdfs/storage目录中

sudo mkdir /var/fdfs/storage
    sudo docker container rm -f storage
    sudo docker run -dti --name storage --network=host -e TRACKER_SERVER=192.168.203.153:22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage

注意：如果遇到无法从重启storage容器的情况，可以删除/var/fdfs/storage/data目录下的fdfs\_storaged.pid 文件，然后重新运行storage

#### 3.自定义Django存储后端 ####

##### 3.1 fastdfs.py #####

在项目中新建 meiduo\_mall/utils/fastdfs/fastdfs.py 文件

from django.core.files.storage import Storage
    from django.conf import settings
    
    class FastDFSStorage(Storage):
        def _open(self, name, mode='rb'):
            # 打开django本地文件
            pass
    
        def _save(self, name, image_obj, max_length=None):
        	# 规则1：SKUImage(sku=<SKU对象>, image=<文件对象>) ---> image赋值为一个文件对象的话，会触发文件存储后端来完成；
    		# 规则2：SKUImage(sku=<SKU对象>, image="图片标示，图片id") ---> image赋值为一个字符串，那么就不会触发文件存储后端，直接将该字符串存入mysql；
            # 如果SKUImage(image=<文件对象>) --> 当前存储后端的_save方法，完成图片的保存动作
            # 此处我们需要把文件保存到fdfs(上传到fdfs)
            # name: 文件名称，同时也是保存到Django本地的文件名称 ---> 无需使用
            # image_obj: 传来的文件对象 --> 就是ImageField字段在新建或者更新的时候被赋值的文件对象
    
            conn = Fdfs_client('./meiduo_mall/settings/client.conf') # 使用配置文件
            res = conn.upload_by_buffer(image_obj.read())
            if res is None:
                raise serializers.ValidationError('上传fdfs失败！')
            file_id = res['Remote file_id']
    
            # 注意：_save方法返回值就是当前字段，存储在mysql中的文件id
            return file_id
    
        def exists(self, name):
            # 功能：判断上传的文件在Django本地是否重复
            # True：表示重复
            # Fales：表示不重复
            return False
    
        def url(self, name):
            """
            # 默认只返回文件标识，我们在返回前加上协议域名等前缀构成完整URL
            # return "http://image.meiduo.site:8888/" + name
            return settings.FDFS_BASE_URL + name

##### 3.2 client.conf #####

FastDFS配置文件，/meiduo\_mall/settings/client.conf

# connect timeout in seconds
    # default value is 30s
    connect_timeout=30
    
    # network timeout in seconds
    # default value is 30s
    network_timeout=60
    
    # the base path to store log files
    base_path=/Users/weiwei/Desktop/01-fdfs客户端的使用demo/logs
    
    # tracker_server can ocur more than once, and tracker_server format is
    # "host:port", host can be hostname or ip address
    tracker_server=192.168.203.153:22122
    
    #standard log level as syslog, case insensitive, value list:
    ### emerg for emergency
    ### alert
    ### crit for critical
    ### error
    ### warn for warning
    ### notice
    ### info
    ### debug
    log_level=info
    
    # if use connection pool
    # default value is false
    # since V4.05
    use_connection_pool = false
    
    # connections whose the idle time exceeds this time will be closed
    # unit: second
    # default value is 3600
    # since V4.05
    connection_pool_max_idle_time = 3600
    
    # if load FastDFS parameters from tracker server
    # since V4.05
    # default value is false
    load_fdfs_parameters_from_tracker=false
    
    # if use storage ID instead of IP address
    # same as tracker.conf
    # valid only when load_fdfs_parameters_from_tracker is false
    # default value is false
    # since V4.05
    use_storage_id = false
    
    # specify storage ids filename, can use relative or absolute path
    # same as tracker.conf
    # valid only when load_fdfs_parameters_from_tracker is false
    # since V4.05
    storage_ids_filename = storage_ids.conf
    
    
    #HTTP settings
    http.tracker_server_port=80
    
    #use "#include" directive to include HTTP other settiongs
    ##include http.conf

##### 3.3 settings.py #####

修改dev配置文件

# 指定自定义的Django文件存储类
    DEFAULT_FILE_STORAGE = 'meiduo_mall.utils.fastdfs.FastDFSStorage'
    # 定义fdfs服务url前缀
    FDFS_BASE_URL = 'http://image.meiduo.site:8888/'

#### 4.存储图片 ####

方法1，在ModelViewSet视图集存储

class ImageView(ModelViewSet):
        serializer_class = ImageSeriazlier
        queryset = SKUImage.objects.all()
        pagination_class = PageNum
    	
    	...
    	
        # 重写拓展类的保存业务逻辑
        def create(self, request, *args, **kwargs):
              # 创建FastDFS连接对象
            client = Fdfs_client(settings.FASTDFS_PATH)
            # 获取前端传递的image文件
            data = request.FILES.get('image')
            # 上传图片到fastDFS
            res = client.upload_by_buffer(data.read())
            # 判断是否上传成功
            if res['Status'] != 'Upload successed.':
                return Response(status=403)
            # 获取上传后的路径
            image_url = res['Remote file_id']
            # 获取sku_id
            sku_id = request.data.get('sku')[0]
            # 保存图片
            img = SKUImage.objects.create(sku_id=sku_id, image=image_url)
                    # 返回结果
            return Response(
                { 
                    'id': img.id,
                    'sku': sku_id,
                    'image': img.image.url
                },
                status=201  # 前端需要接受201状态
            )

方法2，在ModelSerializer序列化器存储

class ImageModelSerializer(serializers.ModelSerializer):
        class Meta:
            model = SKUImage
            fields = ['id','sku','image']
        
        # 规则1：SKUImage(sku=<SKU对象>, image=<文件对象>) ---> image赋值为一个文件对象的话，会触发文件存储后端来完成；
        # 规则2：SKUImage(sku=<SKU对象>, image="图片标示，图片id") ---> image赋值为一个字符串，那么就不会触发文件存储后端，直接将该字符串存入mysql；
        def validate(self, attrs):
            image_obj = attrs.get('image')
            conn = Fdfs_client('./meiduo_mall/settings/client.conf')
            res = conn.upload_by_buffer(image_obj.read())
            if res is None:
                raise serializers.ValidationError('fdfs上传失败')
            attrs['image'] = res['Remote file_id']
            return attrs