神经网络在深度学习过程中每层训练的网络参数容量数量计算推导

不念不忘少年蓝@ 2023-06-19 09:54 9阅读 0赞

# AI：神经网络在深度学习过程中每层训练的网络参数容量数量计算推导，Python #

在深度学习的卷积神经网络中，训练的参数的计算公式为：

公式1：

![2019120610593977.png][]

计算每一层神经网络在深度学习过程中的训练参数个数的常规公式2为：

total_params_count = (filter_height * filter_width * input_channels + 1) * number_of_filters

下面介绍具体的神经网络在深度学习过程中，训练参数的详细产生。

--------------------

## 案例1 ##

假设现在有一个3X3的1维（输入通道为1）特征图输入（也即意味着该特征图相当于一张灰度图），然后由3个卷积核（过滤器、滤波器），每一个卷积核尺寸为2X2。输出3个通道特征图。神经网络训练的参数个数示意图为：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70][]

该层神经网络训练的参数个数即为：

**(2\*2+1)\*3=15**

总计15个参数， 这15个参数里面，其中12个为权重值（weights），3个偏差（biases）。

--------------------

## 案例2 ##

对于像普通常见的RGB彩色图片，具有3通道（R,G,B）。如果每一个输入特征图都有一个滤波器（卷积核）。产生的卷积按元素添加，并且向每个元素添加偏差项。 形成具有1个特征图的输出。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1][]

神经网络训练的参数个数计算：

**4\*3+1=13**

总计13个参数，其中12个是权重，1个是偏差。

--------------------

## 案例3 ##

假设每1个输入特征图都分别有3个滤波器（以紫色，黄色，青色分别表示）。产生的卷积按元素添加，并且向每个元素添加偏差项。现在有2个特征图，最终输出3个特征图。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2][]

输入2个的特征图，最终输出3个特征图（意味着有3个偏差）。神经网络训练的参数个数为27，其中24个为权重，3个为偏差。

--------------------

## Python代码验证 ##

建立神经网络，堆叠几层：

from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense
    from keras.models import Sequential
    
    if __name__ == "__main__":
        model = Sequential()
    
        model.add(Conv2D(filters=32,
                         kernel_size=(3, 3),
                         input_shape=(150, 150, 3),
                         activation='relu'))
        model.add(MaxPooling2D(pool_size=(2, 2)))
    
        model.add(Conv2D(filters=64,
                         kernel_size=(3, 3),
                         activation='relu'))
        model.add(MaxPooling2D(pool_size=(2, 2)))
    
        model.add(Conv2D(filters=128,
                         kernel_size=(3, 3),
                         activation='relu'))
        model.add(MaxPooling2D(pool_size=(2, 2)))
    
        model.add(Conv2D(filters=128,
                         kernel_size=(3, 3),
                         activation='relu'))
        model.add(MaxPooling2D(pool_size=(2, 2)))
    
        model.add(Flatten())
    
        model.add(Dense(units=512, activation='relu'))
        model.add(Dense(units=1, activation='sigmoid'))
    
        print(model.summary())

输出：

Model: "sequential_1"
    _________________________________________________________________
    Layer (type)                 Output Shape              Param #   
    =================================================================
    conv2d_1 (Conv2D)            (None, 148, 148, 32)      896       
    _________________________________________________________________
    max_pooling2d_1 (MaxPooling2 (None, 74, 74, 32)        0         
    _________________________________________________________________
    conv2d_2 (Conv2D)            (None, 72, 72, 64)        18496     
    _________________________________________________________________
    max_pooling2d_2 (MaxPooling2 (None, 36, 36, 64)        0         
    _________________________________________________________________
    conv2d_3 (Conv2D)            (None, 34, 34, 128)       73856     
    _________________________________________________________________
    max_pooling2d_3 (MaxPooling2 (None, 17, 17, 128)       0         
    _________________________________________________________________
    conv2d_4 (Conv2D)            (None, 15, 15, 128)       147584    
    _________________________________________________________________
    max_pooling2d_4 (MaxPooling2 (None, 7, 7, 128)         0         
    _________________________________________________________________
    flatten_1 (Flatten)          (None, 6272)              0         
    _________________________________________________________________
    dense_1 (Dense)              (None, 512)               3211776   
    _________________________________________________________________
    dense_2 (Dense)              (None, 1)                 513       
    =================================================================
    Total params: 3,453,121
    Trainable params: 3,453,121
    Non-trainable params: 0
    _________________________________________________________________
    None

（1）经过max\_pooling2d\_1最大池化层处理后，上一层的3维输入被max\_pooling2d\_1处理后输出为32维（通道）的高维特征图，因此在conv2d\_2层的参数个数为：

（3\*3\*32+1）\* 64 = 18496

（2）flatten层是将训练参数展开放平成一维特征图。所以flatten\_1层的参数个数就是：

7\*7\*128=6272

（3）dense层，相当于是1维的特征图，再加1个biases。所以dense\_1层训练的参数个数为：

（6272+1）\*512=3211776

（4）dense\_2层，是前一层的输出特征图(512+1)\*1=513个训练参数。

（5）最大池化层不需要训练参数，故参数个数为0。

[2019120610593977.png]: https://img-blog.csdnimg.cn/2019120610593977.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191205192237593.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191205193546955.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191205194301196.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA==,size_16,color_FFFFFF,t_70