FastDFS介绍及安装部署

桃扇骨 2023-06-17 15:59 540阅读 0赞

## 简介 ##

FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file\_size <500MB）为载体的在线服务。

## 原理 ##

### 架构 ###

![format_png][]

image.png

### Storage server ###

Storage server（后简称storage）以组（卷，group或volume）为单位组织，一个group内包含多台storage机器，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。 以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制（group内storage server数量即为该group的副本数），比如将不同应用数据存到不同的group就能隔离应用数据，同时还可根据应用的访问特性来将应用分配到不同的group来做负载均衡；缺点是group的容量受单机存储容量的限制，同时当group内有机器坏掉时，数据恢复只能依赖group内地其他机器，使得恢复时间会很长。 group内每个storage的存储依赖于本地文件系统，storage可配置多个数据存储目录，比如有10块磁盘，分别挂载在/data/disk1-/data/disk10，则可将这10个目录都配置为storage的数据存储目录。 storage接受到写文件请求时，会根据配置好的规则（后面会介绍），选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多，在 storage第一次启动时，会在每个数据存储目录里创建2级子目录，每级256个，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。

### Upload file ###

FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。

![format_png 1][]

image.png

选择tracker server

当集群中不止一个tracker server时，由于tracker之间是完全对等的关系，客户端在upload文件时可以任意选择一个trakcer。

选择存储的group

当tracker接收到upload file的请求时，会为该文件分配一个可以存储该文件的group，支持如下选择group的规则：

Round robin，所有的group间轮询  
Specified group，指定某一个确定的group  
Load balance，剩余存储空间多多group优先

选择storage server

当选定group后，tracker会在group内选择一个storage server给客户端，支持如下选择storage的规则：

Round robin，在group内的所有storage间轮询  
First server ordered by ip，按ip排序  
First server ordered by priority，按优先级排序（优先级在storage上配置）

选择storage path

当分配好storage server后，客户端将向storage发送写文件请求，storage将会为文件分配一个数据存储目录，支持如下规则：

Round robin，多个存储目录间轮询  
剩余存储空间最多的优先

生成Fileid

选定存储目录之后，storage会为文件生一个Fileid，由storage server ip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成，然后将这个二进制串进行base64编码，转换为可打印的字符串。

选择两级目录

当选定存储目录之后，storage会为文件分配一个fileid，每个存储目录下有两级256\*256的子目录，storage会按文件fileid进行两次hash（猜测），路由到其中一个子目录，然后将文件以fileid为文件名存储到该子目录下。

生成文件名

当文件存储到某个子目录后，即认为该文件存储成功，接下来会为该文件生成一个文件名，文件名由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。

![format_png 2][]

image.png

文件同步

写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。 每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证 集群内所有server的时钟保持同步。 storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。 比如一个group内有A、B、C三个storage server，A向C同步到进度为T1 (T1以前写的文件都已经同步到B上了），B向C同步到时间戳为T2（T2 > T1)，tracker接收到这些同步进度信息时，就会进行整理，将最小的那个做为C的同步时间戳，本例中T1即为C的同步时间戳为T1（即所有T1以前写的数据都已经同步到C上了）；同理，根据上述规则，tracker会为A、B生成一个同步时间戳。

Download file

客户端upload file成功后，会拿到一个storage生成的文件名，接下来客户端根据这个文件名即可访问到该文件。

![format_png 3][]

image.png

跟upload file一样，在download file时客户端可以选择任意tracker server。 tracker发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的group、大小、创建时 间等信息，然后为该请求选择一个storage用来服务读请求。由于group内的文件同步时在后台异步进行的，所以有可能出现在读到时候，文件还没有同 步到某些storage server上，为了尽量避免访问到这样的storage，tracker按照如下规则选择group内可读的storage：

该文件上传到的源头storage - 源头storage只要存活着，肯定包含这个文件，源头的地址被编码在文件名中  
文件创建时间戳==storage被同步到的时间戳 且(当前时间-文件创建时间戳) > 文件同步最大时间（如5分钟) - 文件创建后，认为经过最大同步时间后，肯定已经同步到其他storage了  
文件创建时间戳 < storage被同步到的时间戳。 - 同步时间戳之前的文件确定已经同步了  
(当前时间-文件创建时间戳) > 同步延迟阀值（如一天）。 - 经过同步延迟阈值时间，认为文件肯定已经同步了

小文件合并存储

将小文件合并存储主要解决如下几个问题：

本地文件系统inode数量有限，从而存储的小文件数量也就受到限制。  
多级目录+目录里很多文件，导致访问文件的开销很大（可能导致很多次IO）  
按小文件存储，备份与恢复的效率低  
FastDFS在V3.0版本里 引入小文件合并存储的机制，可将多个小文件存储到一个大的文件（trunk file），为了支持这个机制，FastDFS生成的文件fileid需要额外增加16个字节：

trunk file id  
文件在trunk file内部的offset  
文件占用的存储空间大小 （字节对齐及删除空间复用，文件占用存储空间>=文件大小）  
每个trunk file由一个id唯一标识，trunk file由group内的trunk server负责创建（trunk server是tracker选出来的），并同步到group内其他的storage，文件存储合并存储到trunk file后，根据其offset就能从trunk file读取到文件。

文件在trunk file内的offset编码到文件名，决定了其在trunk file内的位置是不能更改的，也就不能通过compact的方式回收trunk file内删除文件的空间。但当trunk file内有文件删除时，其删除的空间是可以被复用的，比如一个100KB的文件被删除，接下来存储一个99KB的文件就可以直接复用这片删除的存储空间。

HTTP访问支持

FastDFS的tracker和storage都内置了http协议的支持，客户端可以通过http协议来下载文件，tracker在接收到请求 时，通过http的redirect机制将请求重定向至文件所在的storage上；除了内置的http协议外，FastDFS还提供了通过 apache或nginx扩展模块下载文件的支持。

![format_png 4][]

image.png

其他特性

FastDFS提供了设置/获取文件扩展属性的接口（setmeta/getmeta)，扩展属性以key-value对的方式存储在 storage上的同名文件（拥有特殊的前缀或后缀），比如/group/M00/00/01/some\_file为原始文件，则该文件的扩展属性存储在/group/M00/00/01/.some\_file.meta文件（真实情况不一定是这样，但机制类似），这样根据文件名就能定位到存储扩展属性的文件。 以上两个接口作者不建议使用，额外的meta文件会进一步“放大”海量小文件存储问题，同时由于meta非常小，其存储空间利用率也不高，比如100bytes的meta文件也需要占用4K（block\_size）的存储空间。 FastDFS还提供appender file的支持，通过upload\_appender\_file接口存储，appender file允许在创建后，对该文件进行append操作。实际上，appender file与普通文件的存储方式是相同的，不同的是，appender file不能被合并存储到trunk file。

问题讨论

从FastDFS的整个设计看，基本上都已简单为原则。比如以机器为单位备份数据，简化了tracker的管理工作；storage直接借助本地文 件系统原样存储文件，简化了storage的管理工作；文件写单份到storage即为成功、然后后台同步，简化了写文件流程。但简单的方案能解决的问题通常也有限，FastDFS目前尚存在如下问题（欢迎探讨）：

数据安全性

1.写一份即成功：从源storage写完文件至同步到组内其他storage的时间窗口内，一旦源storage出现故障，就可能导致用户数据丢失，而数据的丢失对存储系统来说通常是不可接受的。  
2.缺乏自动化恢复机制：当storage的某块磁盘故障时，只能换存磁盘，然后手动恢复数据；由于按机器备份，似乎也不可能有自动化恢复机制，除非有预先准备好的热备磁盘，缺乏自动化恢复机制会增加系统运维工作。  
数据恢复效率低：恢复数据时，只能从group内其他的storage读取，同时由于小文件的访问效率本身较低，按文件恢复的效率也会很低，低的恢复效率也就意味着数据处于不安全状态的时间更长。  
3.缺乏多机房容灾支持：目前要做多机房容灾，只能额外做工具来将数据同步到备份的集群，无自动化机制。

存储空间利用率

单机存储的文件数受限于inode数量  
每个文件对应一个storage本地文件系统的文件，平均每个文件会存在block\_size/2的存储空间浪费。  
文件合并存储能有效解决上述两个问题，但由于合并存储没有空间回收机制，删除文件的空间不保证一定能复用，也存在空间浪费的问题

负载均衡

group机制本身可用来做负载均衡，但这只是一种静态的负载均衡机制，需要预先知道应用的访问特性；同时group机制也导致不可能在group之间迁移数据来做动态负载均衡。

### 部署 ###

安装

由于fastDFS是个小型开源项目，目前只在SourceForge上托管了代码，并没有特别针对Linux发行版所编译的二进制软件包。所以想要使用FastDFS只能从源码开始进行编译安装。

软件包下载地址（如果资讯组开发已经发给你了固定版本的fastDFS安装包，那就不需要下载了）：

sourceforge.net/projects/fastdfs/files/?source=navbar

![format_png 5][]

image.png

![format_png 6][]

image.png

![format_png 7][]

image.png

配置

基本配置

disable

#func：配置是否生效
    #valu：true、false
    disable=false

bind\_addr

#func：绑定IP
    #valu：IP地址
    bind_addr=192.168.6.102

port

#func：服务端口
    #valu：端口整数值
    port=22122

connect\_timeout

#func：连接超时
    #valu：秒单位正整数值
    connect_timeout=30

network\_timeout

#func：网络超时
    #valu：秒单位正整数值
    network_timeout=60

base\_path

#func：Tracker数据/日志目录地址
    #valu：路径
    base_path=/home/michael/fdfs/base4tracker

max\_connections

#func：最大连接数
    #valu：正整数值
    max_connections=256

work\_threads

#func：线程数，通常设置CPU数
    #valu：正整数值
    work_threads=4

store\_lookup

#func：上传文件的选组方式。
    #valu：0、1或2。
    # 0：表示轮询
    # 1：表示指定组
    # 2：表示存储负载均衡（选择剩余空间最大的组）
    store_lookup=2

store\_group

#func：指定上传的组，如果在应用层指定了具体的组，那么这个参数将不会起效。另外如果store_lookup如果是0或2，则此参数无效。
    #valu：group1等
    store_group=group1

store\_server

#func：上传服务器的选择方式。(一个文件被上传后，这个storage server就相当于这个文件的storage server源，会对同组的storage server推送这个文件达到同步效果)
    #valu：0、1或2
    # 0: 轮询方式（默认）
    # 1: 根据ip 地址进行排序选择第一个服务器（IP地址最小者）
    # 2: 根据优先级进行排序（上传优先级由storage server来设置，参数名为upload_priority），优先级值越小优先级越高。
    store_server=0

store\_path

#func：上传路径的选择方式。storage server可以有多个存放文件的base path（可以理解为多个磁盘）。
    #valu：
    # 0: 轮流方式，多个目录依次存放文件
    # 2: 存储负载均衡。选择剩余空间最大的目录存放文件（注意：剩余磁盘空间是动态的，因此存储到的目录或磁盘可能也是变化的）
    store_path=0

download\_server

#func：下载服务器的选择方式。
    #valu：
    # 0：轮询（默认）
    # 1：IP最小者
    # 2：优先级排序（值最小的，优先级最高。）
    download_server=0

reserved\_storage\_space

#func：保留空间值。如果某个组中的某个服务器的剩余自由空间小于设定值，则文件不会被上传到这个组。
    #valu：
    # G or g for gigabyte
    # M or m for megabyte
    # K or k for kilobyte
    reserved_storage_space=1GB

log\_level

#func：日志级别
    #valu：
    # emerg for emergency
    # alert
    # crit for critical
    # error
    # warn for warning
    # notice
    # info for information
    # debug for debugging
    log_level=info

run\_by\_group / run\_by\_user

#func：指定运行该程序的用户组
    #valu：用户组名或空
    run_by_group=
    
    #func：
    #valu：
    run_by_user=

allow\_hosts

#func：可以连接到tracker server的ip范围。可设定多个值。
    #valu
    allow_hosts=

check\_active\_interval

#func：检测 storage server 存活的时间隔，单位为秒。
    #      storage server定期向tracker server 发心跳，
    #      如果tracker server在一个check_active_interval内还没有收到storage server的一次心跳，
    #      那边将认为该storage server已经下线。所以本参数值必须大于storage server配置的心跳时间间隔。
    #      通常配置为storage server心跳时间间隔的2倍或3倍。
    check_active_interval=120

thread\_stack\_size

#func：设定线程栈的大小。 线程栈越大，一个线程占用的系统资源就越多。
    #      如果要启动更多的线程（V1.x对应的参数为max_connections，V2.0为work_threads），可以适当降低本参数值。
    #valu：如64KB，默认值为64，tracker server线程栈不应小于64KB
    thread_stack_size=64KB

storage\_ip\_changed\_auto\_adjust

#func：这个参数控制当storage server IP地址改变时，集群是否自动调整。注：只有在storage server进程重启时才完成自动调整。
    #valu：true或false
    storage_ip_changed_auto_adjust=true

同步

storage\_sync\_file\_max\_delay

#func：同组storage服务器之间同步的最大延迟时间。存储服务器之间同步文件的最大延迟时间，根据实际情况进行调整
    #valu：秒为单位，默认值为1天（24*3600）
    #sinc：v2.0
    storage_sync_file_max_delay=86400

storage\_sync\_file\_max\_time

#func：存储服务器同步一个文件需要消耗的最大时间，缺省为300s，即5分钟。
    #sinc：v2.0
    storage_sync_file_max_time=300

sync\_log\_buff\_interval

#func：同步或刷新日志信息到硬盘的时间间隔。注意：tracker server 的日志不是时时写硬盘的，而是先写内存。
    #valu：以秒为单位
    sync_log_buff_interval=10

trunk 和 slot

#func：是否使用trunk文件来存储几个小文件
    #valu：true或false
    #sinc：v3.0
    use_trunk_file=false
    
    #func：最小slot大小
    #valu：<= 4KB，默认为256字节
    #sinc：v3.0
    slot_min_size=256
    
    #func：最大slot大小
    #valu：>= slot_min_size，当小于这个值的时候就存储到trunk file中。默认为16MB。
    #sinc：v3.0
    slot_max_size=16MB
    
    #func：trunk file的size
    #valu：>= 4MB，默认为64MB
    #sinc：v3.0
    trunk_file_size=64MB

HTTP 相关

是否启用 HTTP

#func：HTTP是否生效
    #valu：true或false
    http.disabled=false

HTTP 服务器端口号

#func：tracker server上的http port
    #valu：
    #note：只有http.disabled=false时才生效
    http.server_port=7271

检查Storage存活状态的间隔时间（心跳检测）

#func：检查storage http server存活的间隔时间
    #valu：单位为秒
    #note：只有http.disabled=false时才生效
    http.check_alive_interval=30

心跳检测使用的协议方式

#func：检查storage http server存活的方式
    #valu：
    # tcp：连接到storage server的http端口，不进行request和response。
    # http：storage check alive url must return http status 200.
    #note：只有http.disabled=false时才生效
    http.check_alive_type=tcp

检查 Storage 状态的 URI

#func：检查storage http server是否alive的uri/url
    #note：只有http.disabled=false时才生效
    http.check_alive_uri=/status.html

need\_find\_content\_type

#func：if need find content type form file extension name
    #note：只有http.disabled=false时才生效
    http.need_find_content_type=true

HTTP 配置文件

#func：”#include http.conf“表示redirect to include other settings
    #include http.conf

Storage.conf

基本配置

disabled

#func：该配置文件是否生效
    #valu：
    ## true：无效
    ## false：生效
    disabled=false

group\_name

#func；本storage server所属组名
    group_name=group1

bind\_addr

#func：绑定本storage server的IP
    bind_addr=

client\_bind

#func：bind_addr是针对server的，当指定bind_addr时，本参数才有效。
    #valu：
    ## true：绑定bind_addr所指定的IP
    ## false：绑定本机的任意IP
    client_bind=true

port

#func：storage server端口
    port=23000

connect\_timeout

#func：连接超时
    connect_timeout=30

network\_timeout

#func：网络超时
    network_timeout=60

heart\_beat\_interval

#func：本storage向tracker发送心跳时间间隔
    heart_beat_interval=30

stat\_report\_interval

#func：硬盘存储空间使用情况检测时间间隔
    stat_report_interval=60

base\_path

#func：base_path
    base_path=/home/michael/fdfs/base4storage

max\_connections

#func：本storage server支持的最大并发连接数
    max_connections=256

buff\_size

#func：buff size to recv/send data
    buff_size=256KB

work\_thread

#func：work thread count, should <= max_connections
    #valu：默认为4
    #sinc：v2.0
    work_thread=4

store\_path\_count / store\_path

#func：storage path的个数
    #valu：默认为1
    store_path_count=1
    
    #func：根据store_path_count的值，如果是N个，就要有store_path0, store_path1 ... store_path(N-1)
    #valu：
    store_path0=/home/michael/fdfs/storage0

subdir\_count\_per\_path

#func：FastDFS存储文件时，默认采用了两级目录。这里配置存放文件的目录个数
    subdir_count_per_path=32

tracker\_server

#func：tracker_server 的列表 要写端口号
    tracker_server=192.168.6.188:22122
    tracker_server=192.168.6.189:22122
    tracker_server=192.168.6.190:22122

log\_level

#func：
    log_level=info

run\_by\_group/run\_by\_user

#func：
    run_by_group
    
    #func
    run_by_user

allow\_hosts

#func：允许连接的客户端IP列表
    allow_hosts=*

file\_distribute\_path\_mode

#func：文件分布到data path的方式
    #valu：
    ## 0：轮询
    ## 1：随机，根据哈希code
    file_distribute_path_mode=0

file\_distribute\_rotate\_count

#func：当file_distribute_path_mode设置为0（轮询）时，该值才有效。功能是，当写文件计数打到该值时，转至下一个path。
    file_distribute_rotate_count=100

thread\_stack\_size

#func：线程栈大小
    #valu：要求至少512KB
    thread_stack_size=512KB

upload\_priority

#func：上传优先级。只有tracker.conf中store_server=2时，才有效。
    #valu：值约小，优先级越高。默认为10.
    upload_priority=10

if\_alias\_prefix

#func：
    #valu：
    if_alias_prefix=

check\_file\_duplicate

#func：是否检查file重复。但为1时，使用FastDHT存储文件索引
    #valu：默认为0
    ## 1, yes, true or on：check
    ## 0, no, false or off：不check
    check_file_duplicate=0

key\_namespace

#func：当上个参数设定为1或yes时(true/on也是可以的)，在FastDHT中的命名空间
    key_namespace=FastDFS

keep\_alive

#func：与FastDHT的连接方式
    #valu：默认为0，短连接
    ## 0：短连接（short connection）
    ## 1：长连接（persistent connection）
    keep_alive=0

disk\_rw\_separated

#func：是否I/O分离
    #valu：默认为true
    ## true：分离
    ## false：不分离
    disk_rw_separated=true

disk\_rw\_direct

#func：是否直接写，不使用cache
    #value：
    ## true：直接写
    ## false：不直接写
    disk_rw_direct=false

disk\_reader\_threads

#func：每个storage base path的读线程数。对于disk_rw_separated=true的方式该值为0.
    #valu：默认为1
    disk_reader_threads=1

disk\_writer\_threads

#func：每个storage base path的写线程数。对于disk_rw_separated=true的方式该值为0.
    #valu：默认为1
    disk_writer_threads=1

同步

sync\_wait\_msec

#func：同步文件时，如果从binlog中没有读到要同步的文件，休眠N毫秒后重新读取。
    #valu：单位为毫秒。0表示不休眠，立即再次尝试读取。
    sync_wait_msec=50

sync\_interval

#func：同步一个文件后，在下次进行同步前的休息时间
    #valu：单位为毫秒
    sync_interval=0

sync\_start\_time

#func：每天存储同步的开始时间。
    #valu：HH:mm
    sync_start_time=00:00

sync\_end\_time

#func：每天存储同步的结束时间。
    #valu：HH:mm
    sync_end_time=23:59

write\_mark\_file\_freq

#func：把storage的mark文件定期同步到磁盘的时间间隔
    #valu：单位为秒
    write_mark_file_freq=500

fsync\_after\_written\_bytes

#func：当写大文件时，每写入N个字节，调用一次系统函数fsync将内容强行同步到硬盘。
    #valu：0表示从不调用fsync
    fsync_after_written_bytes=0

sync\_log\_buff\_interval

#func：同步或刷新日志信息到硬盘的时间间隔
    #valu：单位为秒
    sync_log_buff_interval=10

sync\_binlog\_buff\_interval

#func：同步binlog（更新操作日志）到硬盘的时间间隔
    #valu：单位为秒
    sync_binlog_buff_interval=60

sync\_stat\_file\_interval

#func：把storage的stat文件同步到磁盘的时间间隔
    #valu：单位为秒
    sync_stat_file_interval=300

HTTP 相关

是否启用 HTTP

#func：是否开启HTTP
    http.disabled

domain

#func：如果将该项留空，则使用IP，否则可以通过tracker来redirect。
    http.domain_name=

server port

#func：HTTP端口号
    http.server_port

trunk size

#func：trunk file size
    http.trunk_size=256KB

否需要从文件扩展名确定文件内容

#func：是否需要从文件扩展名确定文件内容
    http.need_find_content_type=true

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTE1MDIwNy04ODQ5OTY0YmFiNmE2ODc1LnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwfGltYWdlVmlldzIvMi93LzQwMC9mb3JtYXQvd2VicA?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTE1MDIwNy03Mzg3ZjI5NTEwZjJjYTY4LnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwfGltYWdlVmlldzIvMi93LzgwMC9mb3JtYXQvd2VicA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTE1MDIwNy04YjA1ZDBhMDQ2YzIyMmZlLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwfGltYWdlVmlldzIvMi93LzQwMC9mb3JtYXQvd2VicA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTE1MDIwNy0yNjAxOGQ1YTQ5NmM0OTU2LnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwfGltYWdlVmlldzIvMi93LzQwMC9mb3JtYXQvd2VicA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTE1MDIwNy01NGNiYjQ1Y2I2NGQ4MmYxLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwfGltYWdlVmlldzIvMi93LzQwMC9mb3JtYXQvd2VicA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTE1MDIwNy1hZTRkZWM2MWUwMjhkN2EyLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwfGltYWdlVmlldzIvMi93LzQwMC9mb3JtYXQvd2VicA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTE1MDIwNy0yNDU5MTJlMjhiZGU3OTQ2LnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwfGltYWdlVmlldzIvMi93LzQwMC9mb3JtYXQvd2VicA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTE1MDIwNy0zZWFlZWNkZmJhMTI1MTgyLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwfGltYWdlVmlldzIvMi93LzQwMC9mb3JtYXQvd2VicA?x-oss-process=image/format,png