吴恩达深度学习04-第一周卷积神经网络

谁借莪１个温暖的怀抱￠ 2023-01-05 01:26 151阅读 0赞

### 目录 ###

*  卷积神经网络举例
 *  为什么使用卷积
 *   *  参数共享
     *  稀疏连接

# 卷积神经网络举例 #

*  第一周的课程比较基础，主要讲了有关卷积的基础知识，在这里我不赘述了，将重点内容再记录一下。首先看它在1-10中举的例子：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]

过程比较简单，两个卷积-池化层，然后是三个全连接层，实现了一个有关手写数字识别的例子。  
输入的图像是32\*32\*3的RGB图像，我们对照第二个图表，一步一步的看一下。

*  首先第一层输入层，32\*32\*3的图像，对应激活值是32\*32\*3=3072，这一层没有参数，参数parameters=0.
 *  而后，卷积层，采用8个5\*5的卷积核，所以对应参数parameters=权重w中参数+偏置b中参数=5\*5\*8+8=208，激活值=卷积之后的激活尺寸之积=28\*28\*8=6272.
 *  而后池化层，池化层是没有需要训练的参数的，只有固定的参数值宽高f=5,步长s=1，所以parameters=0，激活值=池化之后的激活尺寸之积=14\*14\*8=1568.
 *  第二个卷积池化层重复上述流程，在此不赘述。
 *  然后是全连接层FC3，将池化层POOL2之后的激活尺寸5\*5\*16摊平展开成400\*1的矩阵，则对应的FC3层120个神经元的w尺寸为120\*400，再加上还有一个偏置参数b，所以总共的parameters=权重w中参数+偏置b中参数=120\*400+1=48001，经过激活值=FC3之后的激活尺寸之积=120\*1=120.
 *  而后还是全连接层，FC4和FC3重复的过程是一样的，由于FC4有84个神经元，所以w的尺寸的84\*120，再加上还有一个偏置参数b，所以总共的parameters=权重w中参数+偏置b中参数=84\*120+1=10081，经过激活值=FC4之后的激活尺寸之积=84\*1=84.
 *  最后softmax层其实也是个全连接层，由于softmax有10个神经元，所以w的尺寸的10\*84，再加上还有一个偏置参数b，所以总共的parameters=权重w中参数+偏置b中参数=10\*84+1=841，经过激活值=softmax之后的激活尺寸之积=10\*1=10.

# 为什么使用卷积 #

> 与只使用全连接层相比，使用卷积层的优势是参数比较少，而参数少得益于参数共享和稀疏连接。

## 参数共享 ##

*  说到参数共享，有必要先说一下使用卷积的一个优势，或者说一个原因。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]  
    输入32\*3\*3的图像，然后卷积得到28\*28\*6。使用了6个5\*5的卷积核，所以需要训练的参数数量=5\*5\*6+6=156个。  
    而倘若使用全连接层的话，需要的参数parameters=w+b=4704\*3072+1=14450689个需要训练的参数，虽然以现在的科技，这1400多w个参数还是可以训练的，但是这才是32\*32的图像啊，多么小的图像，倘若是1000\*1000的图像，那参数的数量不堪设想。
 *  那么卷积层之所以能够使用这么少的参数，**原因之一就是参数共享**。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 3]  
    所谓参数共享其实就是一个3\*3的卷积核（其实就是特征探测器），在图像的不同区域内都是有效果的。比如上图中的垂直探测器，沿着图像不同区域内滑动来检测垂直特征，只用这一个探测器就能起到效果，而不需要使用好几个不同的探测器，也就是说，这一个探测器来扫描整张图像效果就足够了。尽管有时候图像的不同区域的分布是不同的，但是共用一个探测器效果往往也是不错的。

## 稀疏连接 ##

*  下图  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 4]  
    我们可以看到输出矩阵的左上角的0只依赖于输入图像左上角的那9个参数值，其他的像素值不影响输出矩阵0的值，同理输出矩阵右下方的30也只是收输入矩阵红色方框里的9个像素值所影响，这就是稀疏连接。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]: /images/20221119/3f6120284fb34cbf9449784fa63fba60.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]: /images/20221119/bac656b331804d4fba528d9a1bca6831.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]: /images/20221119/7aef8370d9884572b5c0252a06620332.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 3]: /images/20221119/6244841de6ae46cfaa073b9090cacc71.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210111142518165.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3,size_16,color_FFFFFF,t_70