存储前沿技术和发展趋势【1】

以你之姓@ 2023-01-08 08:25 200阅读 0赞

### 文章目录 ###

*  说明
 *  存储的定义
 *  存储技术的发展史
 *   *  DAS 架构
     *   *  直连存储（DAS）：
         *  内部DAS：
         *  外部DAS：
     *  NAS 架构
     *  FC SAN 架构
     *  IP SAN 架构
     *  存储就架构趋势——融合存储
     *  云存储：分布式存储
     *  云储存：软件定义存储
 *  存储技术演进
 *  存储前沿技术和发展趋势
 *  华为存储解决方案

# 说明 #

本章主要是对存储的定义，发展历史和技术发展趋势做了简要的介绍，让我们能了解存储的前世今生，以及技术的演进方向；  
本章还对华为的存储产品和解决方案进行了简要的介绍。

# 存储的定义 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70]

*  狭义的存储定义是指具体的某种设备，比如以前的软盘、CD、以及DVD和硬盘，对于企业可能还会用到磁带。
 *  广义上存储都是指数据中心里面使用的存储设备，这里面包含了存储硬件系统、软件系统、存储网络和存储解决方案。服务器通过存储网络才能访问存储硬件系统中的数据，存储软件系统对存储中的数据提供管理，将多种存储硬件和软件组合起来形成解决方案可以满足业务较高的数据管理需求，比如数据整合的解决方案、容灾备份的解决方案。
 *  本章介绍广义上的存储，是一套复杂的用来存储和管理企业重要信息的系统。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 1]
 *  当今的存储技术不是一个单独而孤立的技术，实际上，完整的存储系统应该是由一系列组件构成。
 *  目前，人们把存储系统分为了硬件架构部分，软件组件部门以及实际应用时的存储解决方案部分。硬件部分又分为外置的存储系统，主要是指人们实际的存储设备，比如磁盘阵列，磁带库等。因为软件组件的存在，使存储设备的可用性得到了大大的提高，数据的镜像、复制，自动的数据备份等等数据操作都可以通过对存储软件的控制来完成。一个良好的存储解决方案，是使人们数据存储工作更加简单易行的最佳保障，设计优秀的存储解决方案，不仅可以使存储系统实际部署的时候更简单容易，更可以降低客户的总体拥有成本（CTO），使客户的投资能的得到良好的保护。

# 存储技术的发展史 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 2]

## DAS 架构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 3]

### 直连存储（DAS）： ###

是一种存储设备与服务器直接相连的架构。DAS为服务器提供块级的存储服务（不是文件系统级）。DAS的例子有：服务器内部的硬盘，直接连接到服务器上的磁带库，直接连接到服务器上的外部的硬盘盒。基于存储设备与服务器间的位置关系，DAS分为内部DAS和外部DAS两类。

### 内部DAS： ###

在内部DAS架构中，存储设备通过服务器机箱内部的并行或串行总线连接到服务器上。但是，物理的总线有距离限制，只能支持短距离的高速数据传输。此外，很多内部总线能连接的设备数目也有限，并且将存储设备放在服务器机箱内部，也会占用大量的空间 ，对服务器其它部件的维护造成困难。

### 外部DAS： ###

在外部DAS结构中，服务器与外部的存储设备直接相连。在大多数情况下，他们之间通过FC协议或者SCSI协议进行通信。与内部DAS相比，外部DAS克服了内部DAS对连接设备的距离和数量的限制。另外，外部DAS还可以提供存储设备集中化管理，更加方便。

## NAS 架构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 4]

*  网络附加存储（Network Attached Storage，NAS）是连接到一个局域网的基于IP的文件共享设备。NAS通过文件级的数据访问和共享提供存储资源，使客户能够以最小的存储管理开销快速直接共享文件；采用NAS可以不用建立多个文件服务器，是首选的文件共享存储解决方案； NAS还有助于消除用户访问通用服务器时的瓶颈；NAS使用网络和文件共享协议进行归档和存储，这些协议包括进行数据传输的TCP/IP和提供远程文件服务的CIFS、NFS。
 *  UNIX和Microsoft Windows用户能够通过NAS无缝共享相同的数据，通常有NAS和FTP两种数据共享方式。采用NAS共享的时候，UNIX通常使用用NFS，Windows使用CIFS。随着网络技术的发展，NAS扩展到用于满足企业访问数据高性能和高可靠性的需求。 NAS设备是专用的、高性能的、高速的、单一用途的文件服务和存储系统。 NAS客户端和服务器之间通过IP网络通讯，大多数NAS设备支持多种接口和网络。 NAS设备使用自己的操作系统和集成的硬件、软件组件，满足特定的文件服务需求。NAS对操作系统和文件I/O进行了优化，执行文件I/O比一般用途的服务器更好。NAS设备比传统的服务器能接入更多的客户机，达到对传统服务器进行整合目的。

## FC SAN 架构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 5]

*  存储区域网络(Storage Area Networks，SAN)：是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为了实现大量原始数据的传输而进行了专门的优化。因此，可以把FC SAN看成是对SCSI协议在长距离应用上的扩展。FC SAN使用的典型协议组是SCSI和Fiber Channel 。 Fiber Channel特别适合这项应用，原因在于一方面它可以传输大块数据，另一方面它能够实现远距离传输。
 *  FC SAN的市场主要集中在高端的，企业级的存储应用上。这些应用对于性能，冗余度和数据的可获得性都有很高的要求。像存储阵列，备份设备等组件都可以称为存储设备。

## IP SAN 架构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 6]

*  以TCP/IP协议为底层传输协议，采用以太网作为承载介质构建起来的存储区域网络架构。
 *  实现IP SAN的典型协议是iSCSI，它定义了SCSI指令集在IP网络中传输的封装方式。

## 存储就架构趋势——融合存储 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 7]

兼容SAN和NAS两种方式，满足业务弹性发展，简化业务部署，提升存储资源利用率，有效降低TCO。

## 云存储：分布式存储 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 8]

*  分布式存储简单的来说，将标准x86服务器的本地HDD、SSD等存储介质组织成一个大规模的存储资源池，然后将数据分散存储到多个数据存储服务器上。
 *  分布式存储目前多借鉴Google的经验，在众多的服务器搭建一个分布式文件系统，再在这个分布式文件系统上实现相关的数据存储业务。

## 云储存：软件定义存储 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 9]

软件定义存储将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模存储资源池，对非虚拟化环境的上层应用和虚拟机提供工业界标准的SCSI和iSCSI接口。

# 存储技术演进 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 10]

低端存储具备简单、经济、易用的特点；能够长期7\*24小时设备在线；满足业务随需在线和数据安全；是企业数据中心入门级专业存储平台。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 11]

*  灵活可靠：  
    1、灵活的按需扩展：小规模起步，按需进行灵活扩展，为企业成长一路保驾护航。  
    2、全冗余系统设计：全冗余的双控系统架构，最大限度保证系统稳定性，确保数据永不丢失。  
    3、贴心的简单易用：通过DeviceManager统一管理界面，5步即可完成基本配置，支持Ipad远程管理；一键式升级。
 *  绿色高效：  
    1、高性能与高规格： 同时支持FC和iSCSI，满足复杂环境需求。  
    2、多种节能降低TCO：依据业务负载，实现硬盘智能休眠，可降低40%的能耗；16档智能风扇调速技术；根据业务压力智能调节CPU工作频率。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 12]

中端存储具备融合、灵活、简约的系统架构，包含实用多样的功能特性；满足用户多变的存储使用需求；保障业务系统7\*24小时在线，是企业数据中心的通用存储平台。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 13]

*  极致灵活：FC/ISCSI/NFS/CIFS/FTP/FCoE/IB全协议灵活覆盖，虚拟化、数据库所有主流应  
    用高度集成。
 *  极致动力：前后端带宽超出业界50%，SPC-1性能超出业界30%。
 *  极致扩展：缓存和容量扩展能力超出业界3倍。
 *  极致容错：30分/TB数据重构，0热点硬盘，坏道自修复。
 *  精细化：SmartTier/SmartCache/SmartMotion精细化热点统计与自动迁移，性能提升3倍，SmartThin精细化写时分配与空间回收技术，空间利用率提升3倍。
 *  业务自适应：兼容VAAI/VASA/SRM/SMI-S/环保/安全准入/应用平台等各类应用和标准，智能融入客户业务环境和保护数据安全。
 *  自愈合：独创的RAID 2.0+技术，通过全虚拟化机制实现数据灵活调度，无限适应虚拟化平台，并实现自愈合。
 *  中高端互通：业界唯一实现与高端存储互相复制。
 *  智能管理：1分钟内可完成100个LUN的部署，效率提升10倍，一套管理系统管理所有  
    华为存储设备。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 14]

高端存储具备高可靠、低时延、高扩展的系统架构，包含丰富的数据管理特性和数据保护特性，保障极强的业务连续性和极高的服务质量水平，承载企业命脉的关键应用，是企业级数据中心的最佳核心存储平台。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 15]

*  系统架构：  
    1、全交换多控架构  
    2、全局缓存  
    3、端到端校验  
    4、限制环路内的硬盘数
 *  数据保护  
    1、本地高密快照保护  
    2、秒级复制
 *  快速响应  
    1、缓存分区、全局缓存  
    2、QoS  
    3、精细化自动分级存储  
    4、SSD优化
 *  在线扩展  
    1、性能线性扩展  
    2、在线卷扩展  
    3、虚拟化

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 16]

*  安全可信：  
    1、多控全冗余系统架构：消除单点故障，Cache负载均衡，确保系统稳定运行。  
    2、基于RAID 2.0+的磁盘虚拟化：0热点盘， 20倍数据恢复速度，大幅提升数据可靠性。  
    3、完备的容灾方案：0~5s业界最短RPO，一键式容灾管理，最大限度保证业务连续性。
 *  弹性高效：  
    1、性能随业务需求弹性扩展，满足未来10年所需。  
    2、最快响应：唯一达到微秒级稳定响应的高端存储，业务处理速度提升10倍。  
    3、最高效率：最大化挖掘系统存储效率，存储资源利用率提升3倍。

# 存储前沿技术和发展趋势 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 17]

*  云存储市场：高速增长， 2020年达到$29B。  
    受益于资源集中池化、TTM及TCO降低的要求，公有云存储与私有云存储分别以22.7%、38.4% CAGR持续增长。
 *  公有云存储：瞄准新兴应用提升性能与可靠性。  
    1、典型场景：Web、VDI、HPC、IOT、RDS、网盘。  
    2、关键诉求：弹性、QoS、AZ容灾、P层协同。
 *  私有云存储：围绕大规模VM/容器资源池提升效率。  
    1、典型场景：VSI、VDI、Big data。  
    2、关键诉求：复制/双活、重删/压缩、高带宽、虚拟机兼容。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 18]

传统存储是为了满足单一应用或场景而建设的，而且这些烟囱不能满足弹性扩展的需求，所以在云化的前提下，新业务需要新型的存储资源支持模式，比如需要弹性、按需、规模扩展。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 19]

*  FusionStorage软件定义的全融合云存储，基于标准X86硬件平台构建极致性能、极致扩展、开放兼容的存储资源池，为金融、运营商、政府公共事业的新兴云应用按需提供块、文件、对象多存储服务。
 *  产品既具备分布式架构的极致性能、弹性与灵活性，助力客户业务敏捷，又具有企业级产品的可靠性与可用性，从容应对互联网化、云化及大数据应用新挑战。
 *  一切新的产品与方案都是应需而生的，云存储产品也不例外。企业云数据中心几十甚至成百上千种应用，呈现不同的业务形态与数据构成，比如结构化数据、非结构化数据并存，传统应用与新兴云应用并存，高并发应用与大容量应用并存。
 *  华为FusionStorage6.0云存储系统，构建融合多类型存储服务的资源池，提供多协议接入访问支持，向上层应用按需提供块存储、文件存储与对象存储资源，资源供给更敏捷。  
    1、如果您正在建设云数据中心，采用华为云存储不仅可以使您的云资源池架构满足现在和未来不断扩容需求，更重要的是满足未来存储资源池性能、容量和TCO的诉求。  
    2、如果您的数据中心还有大量数据库应用，华为云存储资源池也可同时为数据库应用提供高效的数据存取服务。  
    3、如果您的云数据中心有基于OpenStack及Hadoop相关应用，架构开放的华为云存储也能更好地适配。  
    4、因此，基于软件定义的云存储，可以保护数据中心既有投资、实现资源最佳匹配。

# 华为存储解决方案 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 20]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 21]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 22]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 23]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 24]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 25]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 26]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70]: /images/20221119/5ab3c85a0ad84685b87372ac364306a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 1]: /images/20221119/4cca1184f38747d2a307cceb9c98899b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 2]: /images/20221119/08a33ebc4a6d4639a930d5fa3a5b3714.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 3]: /images/20221119/c7dcd53a25ba4e63a5b644d39323113a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 4]: /images/20221119/007ee528fbb84871ad33098154cdd45a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 5]: /images/20221119/9a71f3f68a0b45619b65ec2c1e7bfb14.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 6]: /images/20221119/58f342ebc6ee460ea91a19e5c9f44dbe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 7]: /images/20221119/f542c088f8d749008f4afde3aab3233d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 8]: /images/20221119/44716a93619a4385a814d8fda094549a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 9]: /images/20221119/925d66cf6bb74bd0a353902758427cbe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 10]: /images/20221119/efc68fd53de94de1a276954ad87b3eaf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 11]: /images/20221119/9a0338f602094aaea2dc84ca68a8a38b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 12]: /images/20221119/c82dd839eefe47d382d2ae6a9716992a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 13]: /images/20221119/c43c74d683564fe8af79c8bde4aee9d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 14]: /images/20221119/c32d349dc24b4d438984f6cbb0ae51ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 15]: /images/20221119/9af26148227f40dcbc2b9ff7127d47c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 16]: /images/20221119/6467aeae523e4fffb8c83a421573820a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 17]: /images/20221119/83180ece429c410aa5cf262c866eaa5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 18]: /images/20221119/d76f73e310d5424b9e0b6e1094d7ef55.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 19]: /images/20221119/ff40c14c58fd42ef9cd5c7d7d7e2ea0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 20]: /images/20221119/78bb935bc89f474a9d43fdbb4d5a280f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 21]: /images/20221119/ac506f7314f041078d5be798042adac8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 22]: /images/20221119/cfa1356bfca94bc2b8202d51bc2cb6b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 23]: /images/20221119/aa757001b2ea4bf0ba785b28f32e96ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 24]: /images/20221119/719ebca8d3ac44dd83df264c0bdbc191.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 25]: /images/20221119/fd6d57bfdbef40aa9107891b1e4cfdf0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 26]: /images/20221119/cf063f5e7aaa45f789b749a0a0b5d3b5.png