基于Docker搭建ELK日志搜集处理分析系统

小咪咪 2023-01-04 14:41 151阅读 0赞

### 基于Docker搭建ELK ###

*  简介
 *  搭建
 *   *  搭建前提
     *  搭建步骤
     *   *  服务器/虚拟机配置
         *  安装配置elk镜像
         *  项目整合
     *  kibana使用
     *   *  查看日志
         *  使用技巧
         *  docker elk安装ik中文分词器

# 简介 #

> ELK=elasticsearch+logstash+kibana, 常作为大型分布式系统的日志分析收集处理的解决方案

*  **ElasticSearch是一个基于Lucene的搜索服务器**. 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，是一种流行的企业级搜索引擎.
 *  **logstash是一个用于日志搜集, 分析, 过滤的工具**. client端一般部署在用于搜集日志的主机上, server端负责将接收的到日志进行过滤, 然后转发到elasticsearch上.
 *  **kibana是一个用于汇总分析和搜索日志的工具**, 可以为elasticsearch和logstash提供友好的日志分析的web界面.

**三者之间的关系如下所示:**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70]

--------------------

# 搭建 #

## 搭建前提 ##

*  腾讯云服务器(1核2G都可以) or 其它类型的服务器 or 虚拟机
 *  安装Docker服务 ( [点击查看详细安装步骤][Link 1] )
 *  在防火墙以及安全组中开放5044, 9200, 5601端口

--------------------

## 搭建步骤 ##

### 服务器/虚拟机配置 ###

1.  设置能够打开的最大文件数  
    `vi /etc/security/limits.conf` 增加下述内容。
    
        * soft nofile 65536 
        * hard nofile 65536
2.  设置es 启动时的线程池最低容量  
    **`vi /etc/security/limits.d/20-nproc.conf`** , 修改下述内容(如果被注释掉了请放开, 非常重要! )
    
        *          soft    nproc     4096 
        root       soft    nproc     unlimited
3.  设置一个进程可以拥有的VMA(虚拟内存区域)的数量  
    `vi /etc/sysctl.conf` 新增下述内容
    
        vm.max_map_count=655360
    
    使用命令，让 sysctl 配置生效 `sysctl -p`

### 安装配置elk镜像 ###

1.  Docker安装ELK镜像
    
        docker pull sebp/elk:latest
    
    注意: 如何查看docker版本? 只需进入[Ddcoker Hub官网][Ddcoker Hub], 搜索你需要下载的镜像(图1), 在Tag页找到你需要下载的版本(图2)即可  
    ![图1][1]  
    ![图2][2]  
    ps: 这里elk的版本是7.10.0之后的版本, 后面随着镜像的更新lastest会不断变更版本, 因此只需要明确**这里下载的是7.10.0后面的一个版本**. 后续想要下载该版本只需要 `docker pull sebp/elk:对应版本`
2.  运行elk镜像
    
        docker run -d \
        -e ES_JAVA_OPTS="-Xms256m -Xmx256m" \
        -p 5601:5601 -p 5044:5044 -p 9200:9200 -p 9300:9300 -it \
        --restart=always --name elk2 1f1020bb13d6 
        
        注意: 
              1.根据自己的服务器内存大小分配合适的内存,  这里为期分配了256m的内存(1核2G参考配置)
              2. -p用于对需要使用的端口, 在docker容器和服务器端口之间进行映射
              3. --restart=always 可以让docker镜像生成的容器实例开机自启( 只要docker服务启动 )
              4. 1f1020bb13d6 指的是elk的镜像ID, 可以通过 docker images 命令查看镜像ID
3.  查看elk容器启动日志  
    如果没有错误则可以测试elasticsearch和kibana能否访问
    
        # 查看日志
        docker logs -f -t elk
        
        # 查看elasticsearch
        http://服务器ip:9200 
        
        # 查看kibana
        http://服务器ip:5601
    
    ![查看es][es]  
    ![查看kibana][kibana]
4.  修改logstash配置
    
        # 进入容器
        docker exec -it elk /bin/bash
        
        # 编辑配置文件
        vim /etc/logstash/conf.d/02-beats-input.conf
    
    **配置文件修改内容**  
    指定5044作为server端的端口, 输出到本地的elasticsearch上, 添加日志的index(方便在kibana上面找到相应日志)
    
        input { 
            tcp { 
                port => 5044
                codec => json_lines
            }
        }
        output{ 
            elasticsearch { 
            hosts => ["localhost:9200"]
            index => "rizhi-log-%{+YYYY.MM.dd}"
            }
        }
    
    退出容器内部, 并重启容器
    
        # 退出容器内部
         ctrl + p + q (ctrl按住的状态下先按p再按q)
        
        # 重启容器
         docker restart elk
    
    再次测试elasticsearch和kibana能否访问

### 项目整合 ###

1.  在任意一个Springboot项目中添加logstash插件
    
        <dependency>
                <groupId>net.logstash.logback</groupId>
                <artifactId>logstash-logback-encoder</artifactId>
                <version>6.1</version>
         </dependency>
2.  在resource目录下新建一个 lockback.xml 的文件, 用于规定日志格式以及logstash的server端配置  
    ![logback.xml][]  
    具体配置
    
        <?xml version="1.0" encoding="UTF-8"?>
        <configuration>
            <contextName>ProviderLog</contextName>
            
            
            <property name="LOG_HOME" value="home" />
            
            <property name="appName" value="wdnmdService" />
            
            <springProperty scope="context" name="springAppName" source="spring.application.name"/>
            <springProperty scope="context" name="serverPort" source="server.port"/>
            
            <appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
                <destination>logstash所在服务器ip:5044</destination>
        
                
                
                <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder" >
                    
                    <providers>
                        
                                   
                                    
                                    
                                    
                                    
                                    <logLevel/>
                                    <callerData/>
                        <timestamp>
                            <timeZone>UTC</timeZone>
                        </timestamp>
                        <pattern>
                            <pattern>
                                {
                                "app": "${springAppName}_${serverPort}",
                                "level": "%level",
                                "thread": "%thread",
                                "class": "%logger{40}",
                                "message": "%message"
                                }
                            </pattern>
                        </pattern>
        
                    </providers>
                </encoder>
            </appender>
            
            <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
                <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
                    
                    <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
                </encoder>
            </appender>
            
            <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
                <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
                    
                    <FileNamePattern>${LOG_HOME}/system.log.%d{yyyy-MM-dd}.log</FileNamePattern>
                    
                    <MaxHistory>30</MaxHistory>
                </rollingPolicy>
                <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
                    
                    <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
                </encoder>
                
                <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
                    <MaxFileSize>10MB</MaxFileSize>
                </triggeringPolicy>
            </appender>
        
            
            <root level="INFO">
                <appender-ref ref="stash" />
                <appender-ref ref="STDOUT" />
                
            </root>
        </configuration>
3.  在任意springboot项目的启动类编写测试用接口, 并启动项目, 访问接口 `http://localhost:8080/test/测试elk用户`
    
        @SpringBootApplication
        @RestController
        public class DemoApplication { 
        
            public static void main(String[] args) { 
                SpringApplication.run(DemoApplication.class, args);
            }
        
            Logger logger = LoggerFactory.getLogger("DemoApplication");
            
            @RequestMapping("/test/{name}")
            public String test1(@PathVariable String name){ 
                logger.info("用户名称注册成功66666, 用户名为: " +name);
                return name+"登录成功";
            }
        }
    
    ![访问测试接口][20210110205947103.png]  
    **ps: 在启动项目时, 可能出现的问题, 这些问题可能出现的非常频繁, 需要仔细留意哦~~~**
    
        // 1. 超时问题 ==>重启后未启动docker服务, 或是elk因为异常而终止 ==> 重新启动即可
        09:22:46,036 |-WARN in net.logstash.logback.appender.LogstashTcpSocketAppender[stash] - Log destination 192.168.40.21:5044: connection failed. java.net.SocketTimeoutException: connect timed out
        	at java.net.SocketTimeoutException: connect timed out
        
        // 2.连接拒绝问题 ( 前提: 检查自己防火墙或者云服务的安全组是否开放对应端口, 如5044 )
        // 1). 虚拟机配置 ==> 检查虚拟机配置
        // 2). elk刚启动后的瞬间导致内存占用过大 ==> 等待1-2min重新连接一下 
        // 3). 系统其它进程内存空间占用过大 ==> 重启 or 关闭无用的进程
        09:30:24,927 |-WARN in net.logstash.logback.appender.LogstashTcpSocketAppender[stash] - Log destination 192.168.40.21:5044: connection failed. java.net.ConnectException: Connection refused: connect
        	at java.net.ConnectException: Connection refused: connect
        	at 	at java.net.DualStackPlainSocketImpl.waitForConnect(Native Method)
        	at 	at java.net.DualStackPlainSocketImpl.socketConnect(DualStackPlainSocketImpl.java:85)
        	at 	at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
        	at 	at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        	at 	at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        	at 	at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:172)
        	at 	at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        	at 	at java.net.Socket.connect(Socket.java:606)
        	at 	at net.logstash.logback.appender.AbstractLogstashTcpSocketAppender$TcpSendingEventHandler.openSocket(AbstractLogstashTcpSocketAppender.java:586)
        	at 	at net.logstash.logback.appender.AbstractLogstashTcpSocketAppender$TcpSendingEventHandler.onStart(AbstractLogstashTcpSocketAppender.java:508)
        	at 	at net.logstash.logback.appender.AsyncDisruptorAppender$EventClearingEventHandler.onStart(AsyncDisruptorAppender.java:351)
        	at 	at net.logstash.logback.encoder.com.lmax.disruptor.BatchEventProcessor.notifyStart(BatchEventProcessor.java:224)
        	at 	at net.logstash.logback.encoder.com.lmax.disruptor.BatchEventProcessor.run(BatchEventProcessor.java:120)
        	at 	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        	at 	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        	at 	at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
        	at 	at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
        	at 	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        	at 	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        	at 	at java.lang.Thread.run(Thread.java:748)
        09:30:24,927 |-WARN in net.logstash.logback.appender.LogstashTcpSocketAppender[stash] - Log destination 192.168.40.21:5044: Waiting 28979ms before attempting reconnection.

--------------------

## kibana使用 ##

### 查看日志 ###

1.  登录kibana, 点击Stack Management页面, 创建索引( 用于接收指定格式日志名称的日志 )  
    ![kiban中的management页面][kiban_management]
2.  输入`rizhi-log-*`去匹配( 会匹配所有以rizhi-log- 开头的日志 )，然后点击下一步，选择@timestamp  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 1]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 2]
3.  **如果出现`You'll need to index some data into Elasticsearch before you can create an index pattern`或者输入后下一步为灰或者出现`No results match your search criteria`，这是因为里面没有数据导致的，在命令行输入一个假的数据即可**
    
        curl -H "Content-Type: application/json" -XPOST 'http://es所在主机ip:9200/rizhi-log-2021-01-09/test-log' -d '{"code":200,"message":"测试"}'
4.  在kibana的web界面中的discover下查看生成的日志  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 3]

### 使用技巧 ###

1.  使用关键字查询  
    日志中出现的所有关键字都能够通过这个搜索到 => 可以用来搜索含有关键字的日志  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 4]
2.  使用属性去查询  
    在Discover页面的左边的Available fields中, 如果想要过滤耨个属性, 则点击属性右侧的 “+”, 可以结合步骤一进行更细致的查询  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 5]  
    属性过滤后的页面( 可以使用多个属性进行过滤展示 )  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 6]
3.  通过使用日期对格式进行过滤  
    可以自定义也可以使用系统定义好的时间段, 方便我们按时间进行查看  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 7]  
    *后续如果有新东西get到了, 会继续补充哦, 觉得不错就点个赞吧~~~*

--------------------

### docker elk安装ik中文分词器 ###

1.  在github上下载和es版本匹配的ik中文分词器  
    https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.10.0  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 8]  
    上传到服务器后解压(), 然后通过docker cp将其从本地复制到docker es上
    
        # 创建目录
        mkdir elasticsearch-analysis-ik-7.10.0
        # 复制插件
        cp elasticsearch-analysis-ik-7.10.0.zip elasticsearch-analysis-ik-7.10.0
        cd elasticsearch-analysis-ik-7.10.0/
        #解压
        unzip elasticsearch-analysis-ik-7.10.0.zip
        # 复制到docker elasticsearch上,elk为容器的名称
        docker cp elasticsearch-analysis-ik-7.10.0  elk:/opt/elasticsearch/plugins
        # 重启elk容器
        docker restart elk
2.  测试中文分词器  
    访问kibana的dev tools工具栏 `http://kibanaip:kibana端口/app/dev_tools#/console`, 输入下面内容测试
    
        GET _analyze
        { 
        "text" : "中华人民共和国国歌",
        "analyzer": "ik_max_word"
        }
        
        GET _analyze
        { 
        "text" : "中华人民共和国国歌",
        "analyzer": "ik_smart"
        }
    
    **如果对中文出现了分词则说明安装成功了**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 9]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 10]

参考博客

[https://zhuanlan.zhihu.com/p/107346014?from\_voters\_page=true][https_zhuanlan.zhihu.com_p_107346014_from_voters_page_true]

[https://www.cnblogs.com/xiao987334176/p/13565790.html][https_www.cnblogs.com_xiao987334176_p_13565790.html]

[https://blog.csdn.net/abc8125/article/details/106858862][https_blog.csdn.net_abc8125_article_details_106858862]

[https://blog.csdn.net/github\_38924695/article/details/105348442][https_blog.csdn.net_github_38924695_article_details_105348442]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70]: /images/20221119/619926bcdd2b464abc147388240a41e5.png
[Link 1]: https://timepause.blog.csdn.net/article/details/102631158
[Ddcoker Hub]: https://hub.docker.com/
[1]: https://img-blog.csdnimg.cn/20210110204620352.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[2]: https://img-blog.csdnimg.cn/20210110204642992.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[es]: https://img-blog.csdnimg.cn/20210110205709861.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[kibana]: https://img-blog.csdnimg.cn/20210110205737642.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[logback.xml]: https://img-blog.csdnimg.cn/20210110205852100.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[20210110205947103.png]: https://img-blog.csdnimg.cn/20210110205947103.png
[kiban_management]: https://img-blog.csdnimg.cn/20210110210045611.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210110210207482.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210110210314893.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2021011021034791.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210114094736385.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210114095035527.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210114095540180.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210114100222986.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20210121180420646.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20210121182651819.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20210121182719813.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMzcxNTU2,size_16,color_FFFFFF,t_70
[https_zhuanlan.zhihu.com_p_107346014_from_voters_page_true]: https://zhuanlan.zhihu.com/p/107346014?from%5C_voters%5C_page=true
[https_www.cnblogs.com_xiao987334176_p_13565790.html]: https://www.cnblogs.com/xiao987334176/p/13565790.html
[https_blog.csdn.net_abc8125_article_details_106858862]: https://blog.csdn.net/abc8125/article/details/106858862
[https_blog.csdn.net_github_38924695_article_details_105348442]: https://blog.csdn.net/github%5C_38924695/article/details/105348442