虚拟机性能分析和故障解决工具

Dear 丶 2022-12-15 03:24 6阅读 0赞

## 1.jps ##

(1) jps是用于查看有权访问的hotspot虚拟机的进程  
(2) 命令格式：jps \[options \] \[ hostid \]

[options ]
     -q：仅输出VM标识符，不包括classname,jar name,arguments in main method 
     -m：输出main method的参数 
     -l：输出完全的包名，应用主类名，jar的完全路径名 
     -v：输出jvm参数 
     -V：输出通过flag文件传递到JVM中的参数(.hotspotrc文件或-XX:Flags=所指定的文件 
     -Joption：传递参数到vm,例如:-J-Xms512m
    [hostid]
     [protocol:][[//]hostname][:port][/servername]

## 2.jstats ##

(1) Java应用程序的资源和性能进行实时的命令行的监控，见https://docs.oracle.com/javase/1.5.0/docs/tooldocs/share/jstat.html  
(2) 命令格式：jstat \[ options vmid \[interval s|ms\] \[count\]\] pid

*  jstat –class : 显示加载class的数量，及所占空间等信息
    
        #jstat -class 6932
        Loaded  Bytes  Unloaded  Bytes     Time
           666  1329.1        0     0.0       0.08
        
        >Loaded: 装载的类的数量, Bytes: 装载类所占用的字节数 (Kbytes)
        >Unloaded: 卸载类的数量,  Bytes: 卸载类的字节数 (Kbytes)
        >Time: 装载和卸载类所花费的时间
 *  jstat -compiler 显示VM实时编译的数量等信息
    
        #jstat -compiler 6932
        Compiled Failed Invalid   Time   FailedType FailedMethod
              78      0         0         0.02          0               
        >Compiled: 编译任务执行数量, Failed: 编译任务执行失败数量, Invalid: 编译任务执行失效数量
        >Time: 编译任务消耗时间,
        >FailedType: 最后一个编译失败任务的类型, FailedMethod: 最后一个编译失败任务所在的类及方法
 *  jstat -gc : 可以显示gc的信息，查看gc的次数，及时间
    
        #jstat -gc 6932
         S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT
        10752.0 10752.0  0.0    0.0   65536.0   6559.2   175104.0     0.0     4480.0 770.4  384.0   75.9       0    0.000   0      0.000    0.000
        
        >S0C: 年轻代中第一个survivor（幸存区）的容量 (字节)
        >S1C: 年轻代中第二个survivor（幸存区）的容量 (字节)
        >S0U: 年轻代中第一个survivor（幸存区）目前已使用空间 (字节)
        >S1U: 年轻代中第二个survivor（幸存区）目前已使用空间 (字节)
        >EC: 年轻代中Eden（伊甸园）的容量 (字节)
        >EU: 年轻代中Eden（伊甸园）目前已使用空间 (字节)
        >OC:  Old代的容量 (字节)
        >OU: Old代目前已使用空间 (字节)
        >MC:元空间的容量 (字节)
        >MU: 元空间目前已使用空间 (字节)
        >CCSC: compressed class压缩类的容量 (字节)
        >CCSU: compressed class目前已使用空间 (字节)
        >YGC: 从应用程序启动到采样时年轻代中gc次数
        >YGCT: 从应用程序启动到采样时年轻代中gc所用时间(s)
        >FGC: 从应用程序启动到采样时old代(全gc)gc次数
        >FGCT: 从应用程序启动到采样时old代(全gc)gc所用时间(s)
        >GCT: 从应用程序启动到采样时gc用的总时间(s)
 *  jstat -gccapacity :可以显示，VM内存中三代（young,old,metaspace）对象的使用和占用大小
    
        #jstat -gccapacity 6932
         NGCMN    NGCMX     NGC     S0C   S1C       EC      OGCMN      OGCMX       OGC         OC       MCMN     MCMX      MC     CCSMN    CCSMX     CCSC    YGC    FGC
         87040.0 1389056.0  87040.0 10752.0 10752.0  65536.0   175104.0  2778624.0   175104.0   175104.0      0.0 1056768.0   4480.0      0.0 1048576.0    384.0      0     0
        >NGCMN: 年轻代(young)中初始化(最小)的大小(字节)
        >NGCMX: 年轻代(young)的最大容量 (字节)
        >NGC: 年轻代(young)中当前的容量 (字节)
        >S0C: 年轻代中第一个survivor（幸存区）的容量 (字节)
        >S1C: 年轻代中第二个survivor（幸存区）的容量 (字节)
        >EC: 年轻代中Eden（伊甸园）的容量 (字节)
        >OGCMN: old代中初始化(最小)的大小 (字节)
        >OGCMX: old代的最大容量(字节)
        >OGC: old代当前新生成的容量 (字节)
        >OC:  Old代的容量 (字节)
        >MCMN: 元空间中初始化(最小)的大小 (字节)
        >MCMX: 元空间的最大容量 (字节)  
        >MC: 元空间当前已使用的容量 (字节)
        >YGC: 从应用程序启动到采样时年轻代中gc次数
        >FGC:  从应用程序启动到采样时old代(全gc)gc次数
 *  jstat -gcutil :统计gc信息
    
        #jstat -gcutil 6932
          S0     S1     E      O      M     CCS    YGC     YGCT    FGC    FGCT     GCT
          0.00   0.00  10.01   0.00  17.20  19.76      0    0.000     0    0.000    0.000
          
        >S0: 年轻代中第一个survivor（幸存区）已使用的占当前容量百分比
        >S1: 年轻代中第二个survivor（幸存区）已使用的占当前容量百分比
        >E:  年轻代中Eden（伊甸园）已使用的占当前容量百分比
        >O:  old代已使用的占当前容量百分比
        >M: 元空间已使用的占当前容量百分比
        >YGC:  从应用程序启动到采样时年轻代中gc次数
        >YGCT:  从应用程序启动到采样时年轻代中gc所用时间(s)
        >FGC:  从应用程序启动到采样时old代(全gc)gc次数
        >FGCT:  从应用程序启动到采样时old代(全gc)gc所用时间(s)
        >GCT:  从应用程序启动到采样时gc用的总时间(s)
 *  jstat -gcnew :年轻代对象的信息
 *  jstat -gcnewcapacity: 年轻代对象的信息及其占用量
 *  jstat -gcold ：old代对象的信息
 *  jstat -gcoldcapacity : old代对象的信息及其占用量
 *  jstat -printcompilation ：当前VM执行的信息

jstat -gc 6932 250 3
     S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT
    10752.0 10752.0  0.0    0.0   65536.0   6559.2   175104.0     0.0     4480.0 770.4  384.0   75.9       0    0.000   0      0.000    0.000
    10752.0 10752.0  0.0    0.0   65536.0   6559.2   175104.0     0.0     4480.0 770.4  384.0   75.9       0    0.000   0      0.000    0.000
    10752.0 10752.0  0.0    0.0   65536.0   6559.2   175104.0     0.0     4480.0 770.4  384.0   75.9       0    0.000   0      0.000    0.000

## 3.jinfo ##

(1) jinfo主要用于打印配置信息，包括虚拟机参数、系统变量。极少数的情况下，我们可以用其来修改命令行参数  
(2) jinfo \[option\]

*  jinfo pid

#jinfo 6932
    java.runtime.name = Java(TM) SE Runtime Environment
    java.vm.version = 25.131-b11
    sun.boot.library.path = D:\Java\jdk1.8.0_131\jre\bin
    java.vendor.url = http://java.oracle.com/
    java.vm.vendor = Oracle Corporation
    path.separator = ;
    ...
    VM Flags:
    Non-default VM flags: -XX:CICompilerCount=3 -XX:InitialHeapSize=268435456
     -XX:MaxHeapSize=4267704320 -XX:MaxNewSize=1422393344 -...-XX:+UseParallelGC

*  查看 JVM 参数

#jinfo -flags 6932
    Non-default VM flags: -XX:CICompilerCount=3 -XX:InitialHeapSize=268435456
     -XX:MaxHeapSize=4267704320 -XX:MaxNewSize=1422393344 -...-XX:+UseParallelGC

*  查看系统参数

#jinfo -sysprops 6932
    java.runtime.name = Java(TM) SE Runtime Environment
    java.vm.version = 25.131-b11
    sun.boot.library.path = D:\Java\jdk1.8.0_131\jre\bin
    java.vendor.url = http://java.oracle.com/
    java.vm.vendor = Oracle Corporation
    path.separator = ;

\-开启JVM参数

#jinfo -flag +PrintGC 6932
    #jinfo -flag +PrintGCDetails 6932

\-关闭JVM参数

#jinfo -flag -PrintGC 6932
    #jinfo -flag -PrintGCDetails 6932

\-设置虚拟机参数  
但并不是每个参数都可以被动态修改的

#jinfo -flag HeapDumpPath 6932         --查看HeapDumpPath参数，发现没有指定路径
    -XX:HeapDumpPath=
    
    #jinfo -flag HeapDumpPath=D:\  6932  --设置heap dump路径 
    
    #jinfo -flag HeapDumpPath 6932          --查看HeapDumpPath参数，发现已指定了路径
    -XX:HeapDumpPath=D:\
    
    #jinfo -flag loggc=gc.log 6932               --不能动态指定gc日志路径 
    Exception in thread "main" com.sun.tools.attach.AttachOperationFailedException: flag 'loggc' cannot be changed
    
            at sun.tools.attach.WindowsVirtualMachine.execute(WindowsVirtualMachine.java:117)
            at sun.tools.attach.HotSpotVirtualMachine.executeCommand(HotSpotVirtualMachine.java:261)
            at sun.tools.attach.HotSpotVirtualMachine.setFlag(HotSpotVirtualMachine.java:234)
            at sun.tools.jinfo.JInfo.flag(JInfo.java:134)
            at sun.tools.jinfo.JInfo.main(JInfo.java:81)

## 4.jmap ##

(1) 可以生成dump文件  
(2) 可以查看堆内对象信息  
(3) 查看ClassLoader和finalizer队列  
(4) 格式：jmap \[option\] pid

*  使用不带选项参数的jmap打印共享对象映射，将会打印目标虚拟机中加载的每个共享对象的起始地址、映射大小以及共享对象文件的路径全称
    
        #jmap 6932
        Attaching to process ID 6932, please wait...
        0x000000005fd20000      104K    D:\Java\jdk1.8.0_131\jre\bin\net.dll
        0x000000005fd40000      88K     D:\Java\jdk1.8.0_131\jre\bin\zip.dll
        0x000000005fd60000      164K    D:\Java\jdk1.8.0_131\jre\bin\java.dll
        0x000000005fd90000      8816K   D:\Java\jdk1.8.0_131\jre\bin\server\jvm.dll
        ...
        0x0000000060630000      840K    D:\Java\jdk1.8.0_131\jre\bin\msvcr100.dll
        0x0000000060b00000      140K    D:\Java\jdk1.8.0_131\jre\bin\instrument.dll
        0x0000000060b60000      60K     D:\Java\jdk1.8.0_131\jre\bin\verify.dll
 *  显示Java堆详细信息
    
        #jmap -heap 6932
        Attaching to process ID 6932, please wait...
        Debugger attached successfully.
        Server compiler detected.
        JVM version is 25.131-b11
        
        using thread-local object allocation.
        Parallel GC with 6 thread(s)
        
        Heap Configuration:
           MinHeapFreeRatio         = 0
           MaxHeapFreeRatio         = 100
           MaxHeapSize              = 4267704320 (4070.0MB)
           NewSize                  = 89128960 (85.0MB)
           MaxNewSize               = 1422393344 (1356.5MB)
           OldSize                  = 179306496 (171.0MB)
           NewRatio                 = 2
           SurvivorRatio            = 8
           MetaspaceSize            = 21807104 (20.796875MB)
           CompressedClassSpaceSize = 1073741824 (1024.0MB)
           MaxMetaspaceSize         = 17592186044415 MB
           G1HeapRegionSize         = 0 (0.0MB)
        
        Heap Usage:
        PS Young Generation
        Eden Space:
           capacity = 67108864 (64.0MB)
           used     = 6716656 (6.4055023193359375MB)
           free     = 60392208 (57.59449768066406MB)
           10.008597373962402% used
        From Space:
           capacity = 11010048 (10.5MB)
           used     = 0 (0.0MB)
           free     = 11010048 (10.5MB)
           0.0% used
        To Space:
           capacity = 11010048 (10.5MB)
           used     = 0 (0.0MB)
           free     = 11010048 (10.5MB)
           0.0% used
        PS Old Generation
           capacity = 179306496 (171.0MB)
           used     = 0 (0.0MB)
           free     = 179306496 (171.0MB)
           0.0% used
        
        3176 interned Strings occupying 260288 bytes.
 *  显示堆中对象的统计信息  
    其中包括每个Java类、对象数量、内存大小(单位：字节)、完全限定的类名。打印的虚拟机内部的类名称将会带有一个’\*’前缀。如果指定了live子选项，则只计算活动的对象。
    
        #jmap -histo:live 6932
        
         num     #instances         #bytes  class name
        ----------------------------------------------
           1:          4615         438240  [C
           2:           412         133368  [B
           3:          4465         107160  java.lang.String
           4:           753          85800  java.lang.Class
           5:           644          42312  [Ljava.lang.Object;
           6:           838          33520  java.util.TreeMap$Entry
           7:           413          13216  java.util.HashMap$Node
           8:           265          12504  [Ljava.lang.String;
 *  打印类加载器信息  
    对于每个类加载器而言，它的名称、活跃度、地址、父类加载器、它所加载的类的数量和大小都会被打印。此外，包含的字符串数量和大小也会被打印。
    
        #jmap -clstats 6932
        Attaching to process ID 6932, please wait...
        Debugger attached successfully.
        Server compiler detected.
        JVM version is 25.131-b11
        finding class loader instances ..done.
        computing per loader stat ..done.
        please wait.. computing liveness..................................................................done.
        class_loader    classes bytes   parent_loader   alive?  type
        
        <bootstrap>     663     1228703   null          live    <internal>
        0x00000006c1a74410      0       0       0x00000006c1a268c8      live    java/util/ResourceBundle$RBClassLoader@0x00000007c006dc98
        0x00000006c1a268c8      26      73698   0x00000006c1a26938      live    sun/misc/Launcher$AppClassLoader@0x00000007c000f6a0
        0x00000006c1a26938      0       0         null          live    sun/misc/Launcher$ExtClassLoader@0x00000007c000fa48
        
        total = 4       689     1302401     N/A         alive=4, dead=0     N/A
 *  打印等待终结的对象信息
    
        jmap -finalizerinfo 6932
        Attaching to process ID 6932, please wait...
        Debugger attached successfully.
        Server compiler detected.
        JVM version is 25.131-b11
        Number of objects pending for finalization: 0
 *  生成堆转储快照dump文件
    
        jmap -dump:format=b,live,file=heapdump.hprof pid

## 5.jhat --不常用，一般使用jvisulavm代替 ##

(1) 主要是用来分析java堆的命令，可以将堆中的对象以html的形式显示出来，包括对象的数量，大小等等，并支持对象查询语言  
(2) 导出堆

*  使用jmap
 *  使用hprof
 *  使用jconsole转储
 *  虚拟机启动指定：-XX:+HeapDumpOnOutOfMemoryError，抛出 OutOfMemoryError 时, 会自动执行堆转储

(3) 分析堆文件

#jhat -J-Xmx512M a1.log

说明：有时dump出来的堆很大，在启动时会报堆空间不足的错误，可加参数：jhat -J-Xmx512m 。这个内存大小可根据自己电脑进行设置。

(4) 查看html  
http://localhost:7000/

## 6.jstack ##

(1) 分析堆栈信息  
(2) 用法

```
    jstack [-l] <pid>
       (to connect to running process) 连接活动线程
    jstack -F [-m] [-l] <pid>
        (to connect to a hung process) 连接阻塞线程
    jstack [-m] [-l] <executable> <core>
        (to connect to a core file) 连接dump的文件
    jstack [-m] [-l] [server_id@]<remote server IP or hostname>
        (to connect to a remote debug server) 连接远程服务器
    ```

(3) jstack统计线程数

jstack -l 28367 | grep 'java.lang.Thread.State' | wc -l

(4) jstack检测死锁

*  查看cpu占用高进程  
    top
 *  查看cpu占用高线程  
    top -H -p 17850
 *  转换线程ID  
    printf “%x\\n” 17880
 *  定位cpu占用线程  
    jstack 17850|grep 45d8 -A 30

## 7.jconsole ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 1]  
(1)概览  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 2]  
(2)内存  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 4]  
(3)线程  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 5]  
(4)类  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 6]  
(5)VM概要  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 7]

## 8.jvisualvm ##

插件可以安装的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 8]

(1) 概述  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 9]  
(2)监视  
cpu，堆、元空间、类、线程，还可以手工GC，dump堆  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 10]  
(3)堆文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 11]  
(4)线程  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 12]  
(5)线程dump文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 13]  
(6)抽样器  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 14]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 15]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 16]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 17]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/f18be588bb4e441688f4f046cfde2577.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/99d603cbecf14375a4559cf81a5d91c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/b1ff668ebde2438b8156d5f13c8cece3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/a191bd998f024b9f82b1c4156767900a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/d6b803dc03664adaafb4c6a49092cb4b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/c5165867e6b24ed6ba0f2f6a8c8c4dcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/a418789a57b54524bd37a1d206304fe4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/31e086e6dc714ec697949829eba1ec63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/30d10291929142ecaba495359f6ebf9a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/21f91452c15143ec8310ac3920fed00d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/ca1793fc33be46e38ccb94e0c0f4a744.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/a008813cf41840f29bdf0e50a71f795b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221123/954d4effad3a42b0a43a79cad5be70c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221123/46379a65a3a54fd9b0428e20639a2bf9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20221123/53e72c043d1649fba8a91f44f6c9cca8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20221123/2283204a85a14f678e67e11ec460b3be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20221123/296fc751f863492f9f39e819cb7e03f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70_pic_center 17]: /images/20221123/6c9714e5fc564aef869d57f6c9583dce.png