深度学习 | 初始化参数实践练习

水深无声 2022-12-21 15:59 210阅读 0赞

本文是吴恩达《深度学习》L2W1的编程作业1。

本文是跟着参考资料的步骤过了一遍作业，做到加深理解的目的，其中所有需要下载的资料都在第二条参考资料里面。

我的实验环境是天池的NoteBook

--------------------

## 总任务 ##

1.  初始化参数  
    1.1 使用0来初始化参数  
    1.2 使用随机数来初始化参数  
    1.3 使用抑梯度异常（如梯度消失和梯度爆炸）初始化参数
2.  正则化模型  
    2.1 使用二范数对二分类模型正则化，尝试避免过拟合  
    2.2 使用随机删除节点方法精简模型，尝试避免过拟合
3.  梯度校验  
    3.1 对模型使用梯度校验，检测它是否在梯度下降的过程中出现了误差过大的情况。

## 1 初始化参数 ##

*  好的初始化可以：
    
     *  加快梯度下降、模型收敛
     *  减小梯度下降收敛过程中训练（和泛化）出现误差的几率
 *  先导入库，并来查看初始的数据集分布：

import numpy as np
    import matplotlib.pyplot as plt
    import sklearn
    import sklearn.datasets
    import init_utils #初始化
    import reg_utils #正则化
    import gc_utils#梯度校验
    
    %matplotlib inline
    plt.rcParams['figure.figsize']=(7.0,4.0) #设置图表默认大小
    plt.rcParams['image.interpolation']='nearest'
    plt.rcParams['image.cmap']='gray'
    
    train_X, train_Y, test_X, test_Y = init_utils.load_dataset(is_plot=True)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center]

*  我们需要做的就是将两种点分开，我们先要进行初始化，右以下三种初始化方法：
    
     *  零初始化 ：在输入参数中设置`initialization = "zeros"`。
        
         *  核心代码：`parameters['W'+str(l)=np.zeros((layers_dims[l],layers_dims[l-1]))`
     *  随机初始化 ：在输入参数中设置`initialization = "random"`，这会将权重初始化为较大的随机值。
        
         *  核心代码：`parameters['W'+str(l)]=np.random.random.randn(layers_dims[l],layers_dims[l-1])*10`
     *  He初始化 ：在输入参数中设置`initialization = "he"`，这会根据He等人（2015）的论文将权重初始化为按比例缩放的随机值。
        
         *  核心代码：`parameters['W'+str(l)=np.random.randn(layers_dims[l],layers_dims[l-1])*np.sqrt(2/layers_dims[l-1])`
 *  老师已经提供的模型如下：

def model(X,Y,learning_rate=0.01,num_iterations=15000,print_cost=True,initialization="he",is_polt=True):
        """ 实现一个三层的神经网络：LINEAR ->RELU -> LINEAR -> RELU -> LINEAR -> SIGMOID 参数： X - 输入的数据，维度为(2, 要训练/测试的数量) Y - 标签，【0 | 1】，维度为(1，对应的是输入的数据的标签) learning_rate - 学习速率 num_iterations - 迭代的次数 print_cost - 是否打印成本值，每迭代1000次打印一次 initialization - 字符串类型，初始化的类型【"zeros" | "random" | "he"】 is_polt - 是否绘制梯度下降的曲线图 返回 parameters - 学习后的参数 """
        grads = { }
        costs = []
        m = X.shape[1]
        layers_dims = [X.shape[0],10,5,1]
        
        #选择初始化参数的类型
        if initialization == "zeros":
            parameters = initialize_parameters_zeros(layers_dims)
        elif initialization == "random":
            parameters = initialize_parameters_random(layers_dims)
        elif initialization == "he":
            parameters = initialize_parameters_he(layers_dims)
        else : 
            print("错误的初始化参数！程序退出")
            exit
        
        #开始学习
        for i in range(0,num_iterations):
            #前向传播
            a3 , cache = init_utils.forward_propagation(X,parameters)
            
            #计算成本 
            cost = init_utils.compute_loss(a3,Y)
            
            #反向传播
            grads = init_utils.backward_propagation(X,Y,cache)
            
            #更新参数
            parameters = init_utils.update_parameters(parameters,grads,learning_rate)
            
            #记录成本
            if i % 1000 == 0:
                costs.append(cost)
                #打印成本
                if print_cost:
                    print("第" + str(i) + "次迭代，成本值为：" + str(cost))
            
        
        #学习完毕，绘制成本曲线
        if is_polt:
            plt.plot(costs)
            plt.ylabel('cost')
            plt.xlabel('iterations (per hundreds)')
            plt.title("Learning rate =" + str(learning_rate))
            plt.show()
        
        #返回学习完毕后的参数
        return parameters

#### 1.1 初始化为0 ####

def initialize_parameters_zeros(layers_dims):
        """ 将模型的参数全部设置为0 参数： layers_dims - 列表，模型的层数和对应每一层的节点的数量 返回 parameters - 包含了所有W和b的字典 W1 - 权重矩阵，维度为（layers_dims[1], layers_dims[0]） b1 - 偏置向量，维度为（layers_dims[1],1） ··· WL - 权重矩阵，维度为（layers_dims[L], layers_dims[L -1]） bL - 偏置向量，维度为（layers_dims[L],1） """
        parameters = { }
        
        L = len(layers_dims) #网络层数
        
        for l in range(1,L):
            parameters["W" + str(l)] = np.zeros((layers_dims[l],layers_dims[l-1]))
            parameters["b" + str(l)] = np.zeros((layers_dims[l],1))
            
            #使用断言确保我的数据格式是正确的
            assert(parameters["W" + str(l)].shape == (layers_dims[l],layers_dims[l-1]))
            assert(parameters["b" + str(l)].shape == (layers_dims[l],1))
            
        return parameters
    
    #测试
    parameters = initialize_parameters_zeros([3,2,1])
    print("W1 = " + str(parameters["W1"]))
    print("b1 = " + str(parameters["b1"]))
    print("W2 = " + str(parameters["W2"]))
    print("b2 = " + str(parameters["b2"]))

![在这里插入图片描述][20201117090002196.png_pic_center]

*  可以看到W和b都被初始化为0了，如果儿模用这些参数训练模型会得到：

parameters = model(train_X, train_Y, initialization = "zeros",is_polt=True)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 1]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 2]

*  可以看到曲线没有变化，也就是说这个模型没有学习，那么预测结果将会是5/5开的：

print ("训练集:")
    predictions_train = init_utils.predict(train_X, train_Y, parameters)
    print ("测试集:")
    predictions_test = init_utils.predict(test_X, test_Y, parameters)

![在这里插入图片描述][20201117090756706.png_pic_center]

*  看看预测和决策的细节：

print("predictions_train = " + str(predictions_train))
    print("predictions_test = " + str(predictions_test))
    
    plt.title("Model with Zeros initialization")
    axes = plt.gca()
    axes.set_xlim([-1.5, 1.5])
    axes.set_ylim([-1.5, 1.5])
    init_utils.plot_decision_boundary(lambda x: init_utils.predict_dec(parameters, x.T), train_X, train_Y)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 3]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 4]

*  分类失败，预测的每个模型都是0。零初始化会导致神经网络无法打破对称性，最终导致的结果就是无论网络右多少层，最终只能得到和Logistic函数相同的结果。

#### 1.2 随机初始化 ####

*  看看随机初始化以及赋予较大的参数值会发生什么。

def initialize_parameters_random(layers_dims):
        """ 参数： layers_dims - 列表，模型的层数和对应每一层的节点的数量 返回 parameters - 包含了所有W和b的字典 W1 - 权重矩阵，维度为（layers_dims[1], layers_dims[0]） b1 - 偏置向量，维度为（layers_dims[1],1） ··· WL - 权重矩阵，维度为（layers_dims[L], layers_dims[L -1]） b1 - 偏置向量，维度为（layers_dims[L],1） """
        
        np.random.seed(3)               # 指定随机种子
        parameters = { }
        L = len(layers_dims)            # 层数
        
        for l in range(1, L):
            parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l - 1]) * 10 #使用10倍缩放
            parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))
            
            #使用断言确保我的数据格式是正确的
            assert(parameters["W" + str(l)].shape == (layers_dims[l],layers_dims[l-1]))
            assert(parameters["b" + str(l)].shape == (layers_dims[l],1))
            
        return parameters
    
    #测试
    parameters = initialize_parameters_random([3, 2, 1])
    print("W1 = " + str(parameters["W1"]))
    print("b1 = " + str(parameters["b1"]))
    print("W2 = " + str(parameters["W2"]))
    print("b2 = " + str(parameters["b2"]))

![在这里插入图片描述][20201117091441718.png_pic_center]

*  看看训练集和测试集的运行结果：

parameters = model(train_X, train_Y, initialization = "random",is_polt=True)
    print("训练集：")
    predictions_train = init_utils.predict(train_X, train_Y, parameters)
    print("测试集：")
    predictions_test = init_utils.predict(test_X, test_Y, parameters)
    
    print(predictions_train)
    print(predictions_test)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 5]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 6]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 7]

*  预测结果：可以看到cost的曲线一开始误差较高，这是因为用较大的随机权重，最后一个激活（sigmoid）输出的结果非常接近0或者1，当其出现错误的时候就会有特别搞的损失。很可能导致梯度爆炸或者梯度消失，也会减慢算法优化的速度。

plt.title("Model with large random initialization")
    axes = plt.gca()
    axes.set_xlim([-1.5, 1.5])
    axes.set_ylim([-1.5, 1.5])
    init_utils.plot_decision_boundary(lambda x: init_utils.predict_dec(parameters, x.T), train_X, train_Y)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 8]

#### 1.3 抑梯度异常初始化 ####

*  也就是"He初始化"，其使用`sqrt(2./layers_dims[l-1])）`来初始化参数，即每个权重参数，我们会使用下面的公式初始化：  
    ![在这里插入图片描述][20201117092428555.png_pic_center]

def initialize_parameters_he(layers_dims):
        """ 参数： layers_dims - 列表，模型的层数和对应每一层的节点的数量 返回 parameters - 包含了所有W和b的字典 W1 - 权重矩阵，维度为（layers_dims[1], layers_dims[0]） b1 - 偏置向量，维度为（layers_dims[1],1） ··· WL - 权重矩阵，维度为（layers_dims[L], layers_dims[L -1]） b1 - 偏置向量，维度为（layers_dims[L],1） """
        
        np.random.seed(3)               # 指定随机种子
        parameters = { }
        L = len(layers_dims)            # 层数
        
        for l in range(1, L):
            parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l - 1]) * np.sqrt(2 / layers_dims[l - 1])
            parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))
            
            #使用断言确保我的数据格式是正确的
            assert(parameters["W" + str(l)].shape == (layers_dims[l],layers_dims[l-1]))
            assert(parameters["b" + str(l)].shape == (layers_dims[l],1))
            
        return parameters
    
    #测试
    parameters = initialize_parameters_he([2, 4, 1])
    print("W1 = " + str(parameters["W1"]))
    print("b1 = " + str(parameters["b1"]))
    print("W2 = " + str(parameters["W2"]))
    print("b2 = " + str(parameters["b2"]))

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 9]

*  可以看到，我们基本把参数W初始化到了1附近，运行测试：

parameters = model(train_X, train_Y, initialization = "he",is_polt=True)
    print("训练集:")
    predictions_train = init_utils.predict(train_X, train_Y, parameters)
    print("测试集:")
    init_utils.predictions_test = init_utils.predict(test_X, test_Y, parameters)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 10]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 11]![在这里插入图片描述][20201117121708157.png_pic_center]

*  可视化预测结果：

plt.title("Model with He initialization")
    axes = plt.gca()
    axes.set_xlim([-1.5, 1.5])
    axes.set_ylim([-1.5, 1.5])
    init_utils.plot_decision_boundary(lambda x: init_utils.predict_dec(parameters, x.T), train_X, train_Y)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 12]

#### 1.4 初始化总结 ####

*  比较一下三种初始化：

<table> 
 <thead> 
  <tr> 
   <th>Model（均为3层）</th> 
   <th>测试准确率</th> 
   <th>评价</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0初始化</td> 
   <td>50%</td> 
   <td>未能打破对称性</td> 
  </tr> 
  <tr> 
   <td>随机初始化</td> 
   <td>83%</td> 
   <td>权重太大会导致梯度问题</td> 
  </tr> 
  <tr> 
   <td>He初始化</td> 
   <td>99%</td> 
   <td>推荐</td> 
  </tr> 
 </tbody> 
</table>

*  此小节的重点内容：
    
     *  不同的初始化会导致不同的结果
     *  随机初始化用于打破对称性，并确保不同的隐藏单元可以学习不同的东西
     *  初始化的参数不宜过大
     *  初始化对于带有ReLU激活的网络非常有效

**下篇**： [深度学习 | 正则化 实践练习][_ _]

--------------------

参考资料：

*  [吴恩达《深度学习》L2W1作业1][L2W1_1]
 *  [【中文】【吴恩达课后编程作业】Course 2 - 改善深层神经网络 - 第一周作业(1&2&3) - 初始化、正则化、梯度校验][Course 2 - _ - _1_2_3_ -]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/bee3ffca5c3a43dd97b49b12a469de0f.png
[20201117090002196.png_pic_center]: /images/20221120/13e7df623ae74b29b98c7958850bc6b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/2020111709030479.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/83c2a82c0db145bc862c3254658df618.png
[20201117090756706.png_pic_center]: https://img-blog.csdnimg.cn/20201117090756706.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20201117090944274.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20201117091001308.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[20201117091441718.png_pic_center]: https://img-blog.csdnimg.cn/20201117091441718.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20201117091606743.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/20201117091622503.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 7]: https://img-blog.csdnimg.cn/20201117091638438.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 8]: https://img-blog.csdnimg.cn/20201117092115103.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[20201117092428555.png_pic_center]: https://img-blog.csdnimg.cn/20201117092428555.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 9]: https://img-blog.csdnimg.cn/20201117092524219.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 10]: https://img-blog.csdnimg.cn/2020111712162979.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 11]: https://img-blog.csdnimg.cn/2020111712164999.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[20201117121708157.png_pic_center]: https://img-blog.csdnimg.cn/20201117121708157.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 12]: https://img-blog.csdnimg.cn/20201117121757753.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[_ _]: https://blog.csdn.net/qq_43145926/article/details/109740149
[L2W1_1]: https://www.kesci.com/mw/project/5dd4f8d600b0b900365fb09f
[Course 2 - _ - _1_2_3_ -]: https://blog.csdn.net/u013733326/article/details/79847918