【北京大学】10 TensorFlow1.x的卷积神经网络(CNN)相关基础知识

Bertha 。 2022-12-29 09:37 143阅读 0赞

### 目录 ###

*  1 引言
 *  2 卷积的概念
 *  3 数据周围全零填充padding
 *  4 池化pool
 *  5 舍弃Dropout
 *  6 卷积NN
 *  相关笔记

# 1 引言 #

（1）全连接网络NN：每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出是预测的结果。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]

待优化的参数过多，容易导致模型过拟合  
实际应用中会先对原始图像进行特征提取，再把提取到的特征喂给全连接网络。

# 2 卷积的概念 #

卷积可被认为是一种有效提取图像特征的方法  
一般会用一个正方形卷积核，遍历图片上的每个点，图片区域内，相对应的每一个像素点，乘以卷积核内相对对应点的权重，求和，再加上偏置。  
![在这里插入图片描述][20201221201729980.gif_pic_center_pic_center]

输出图片边长 = （输入图片边长-卷积核长 +1）/步长  
此图中：（5-3+1）/ 1 =3

# 3 数据周围全零填充padding #

有时候为了保证输入图片和输入图片一致，需要对输入的数据进行全零填充。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]

计算公式  
![在这里插入图片描述][20201221201828591.png]

在TensorFlow框架中，用参数padding ='SAME’或padding = ‘VALID’ 表示  
（3）TensorFlow计算卷积

tf.nn.conv2d(输入描述，eg,[batch,5,5,1]#5 5表示每张图片的分辨率大小5行5列，1表示通道数，如果是灰度图示1，如果是彩色图，有红绿蓝三种颜色，就是3通道
    卷积核描述, eg.[3,3,1,16]
    核滑动步长，eg.[1,1,1,1]
    padding= 'VALID'
    )

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 2]

彩色图的卷积如下，图片包含了三个颜色分为三个信息，分别对它们进行卷积。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 3]

彩色图片的卷积实现如下

tf.nn.conv2d(输入描述，eg,[batch,5,5,3]#5 5表示每张图片的分辨率大小5行5列，1表示通道数，如果是灰度图示1，如果是彩色图，有红绿蓝三种颜色，就是3通道
    卷积核描述, eg.[3,3,3,16]
    核滑动步长，eg.[1,1,1,1]
    padding= 'VALID'
    )

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 4]

# 4 池化pool #

池化用于减少特征数量；最大值池化可提取图片纹理，均值池化可保留背景特征  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 5]

TensorFlow实现

pool =tf.nn.max_pool(输入描述，eg.[batch,28,28,6])
    pool = tf.nn.avg_pool

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 6]

# 5 舍弃Dropout #

在神经网络训练的过程汇总，将一部分神经元按照一定概率从神经网络中暂时舍弃，使用时被舍弃的神经元恢复连接  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 7]

TensorFlow实现

tf.nn.dropout(上层输出，暂时舍弃的概率)
    if train: 输出 = tf.nn.dropout(上层输出，暂时舍弃的概率)

# 6 卷积NN #

借助卷积核（kernel）提取特征后，送入全连接网络  
CNN的主要模块如下  
![在这里插入图片描述][20201221202035637.png_pic_center]

CNN模型非发展历史  
Lenet5 -->AlexNet -->VGGNet -->…–>GooleNet–>ResNet

# 相关笔记 #

以下所有源码以及更详细PDF笔记请在github下载  
[TensorFolwNotebook-from-Peking-University][]

1.  [【北京大学】1 TensorFlow1.x中Python基础知识][1 TensorFlow1.x_Python]
2.  [【北京大学】2 TensorFlow1.x的张量、计算图、会话][2 TensorFlow1.x]
3.  [【北京大学】3 TensorFlow1.x的前向传播推导与实现][3 TensorFlow1.x]
4.  [【北京大学】4 TensorFlow1.x的反向传播推导与实现][4 TensorFlow1.x]
5.  [【北京大学】5 TensorFlow1.x的损失函数和交叉熵举例讲解及实现][5 TensorFlow1.x]
6.  [【北京大学】6 TensorFlow1.x的学习率、滑动平均和正则化实例及实现][6 TensorFlow1.x]
7.  [【北京大学】7 TensorFlow1.x的神经网络模块设计思想举例及实现][7 TensorFlow1.x]
8.  [【北京大学】8 TensorFlow1.x的Mnist数据集实例实现][8 TensorFlow1.x_Mnist]
9.  [【北京大学】9 TensorFlow1.x的实现自定义Mnist数据集][9 TensorFlow1.x_Mnist]
10. [【北京大学】10 TensorFlow1.x的卷积神经网络(CNN)相关基础知识][10 TensorFlow1.x_CNN]
11. [【北京大学】11 TensorFlow1.x的卷积神经网络模型Lenet5实现][11 TensorFlow1.x_Lenet5]
12. [【北京大学】12 TensorFlow1.x的卷积神经网络模型VGGNet实现][12 TensorFlow1.x_VGGNet]
13. [【北京大学】13 TensorFlow1.x的项目实战之手写英文体识别OCR技术][13 TensorFlow1.x_OCR]
14. [【北京大学】14 TensorFlow1.x的二值神经网络实现MNIST数据集手写数字识别][14 TensorFlow1.x_MNIST]
15. [【北京大学】15 TensorFlow1.x的项目实战之人脸表情识别][15 TensorFlow1.x]
16. [【北京大学】16 TensorFlow1.x的项目实战之图像风格融合与快速迁移][16 TensorFlow1.x]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/6d78960cd89843a99000ff24aaca723d.png
[20201221201729980.gif_pic_center_pic_center]: /images/20221120/e6bd7480696e4424ae10fefd3036526a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/363098adb7274c9fb2aabe860c50c5ec.png
[20201221201828591.png]: /images/20221120/0490d0a2a350434db92e7bc8ca4735ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/bbabde6b4fe84dfc9ade0c260ace4e8c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221120/68c0b54594014bfaa065b75f66eb3376.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221120/b8f8c989d20b40e1998dec5bee2002bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221120/3cd62fa297da46b88783e6e13c1342e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221120/ad43a6c18099402dbe4b371d6df78227.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221120/5b22c6a991664b5fb5022b0d596477b1.png
[20201221202035637.png_pic_center]: /images/20221120/df5ba6e04109464ca0c30d2cfd0c8e1c.png
[TensorFolwNotebook-from-Peking-University]: https://github.com/823316627bandeng/-TensorFolwNotebook-from-Peking-University
[1 TensorFlow1.x_Python]: https://betterbench.blog.csdn.net/article/details/111400935
[2 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111401620
[3 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111407104
[4 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111407700
[5 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111409255
[6 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111410367
[7 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111410935
[8 TensorFlow1.x_Mnist]: https://betterbench.blog.csdn.net/article/details/111414788
[9 TensorFlow1.x_Mnist]: https://betterbench.blog.csdn.net/article/details/111480327
[10 TensorFlow1.x_CNN]: https://betterbench.blog.csdn.net/article/details/111495960
[11 TensorFlow1.x_Lenet5]: https://betterbench.blog.csdn.net/article/details/111499496
[12 TensorFlow1.x_VGGNet]: https://betterbench.blog.csdn.net/article/details/111516848
[13 TensorFlow1.x_OCR]: https://betterbench.blog.csdn.net/article/details/111567501
[14 TensorFlow1.x_MNIST]: https://betterbench.blog.csdn.net/article/details/111590573
[15 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111594356
[16 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111641487