大白话讲解卷积神经网络工作原理

小鱼儿 2022-04-17 00:42 784阅读 0赞

> 本文介绍了计算机视觉常用工具：卷积神经网络。用大白话讲解了其应用领域、卷积、池化（下采样）、全连接、梯度下降、反向传播算法。并用三维可视化工具展示了手写字体识别的卷积神经网络案例，最后介绍了几个经典的卷积神经网络模型以及一些新手易上手的计算机视觉开源项目。
> 
> [本文配套B站视频：三分钟走进卷积神经网络][B]
> 
> [本文配套B站视频：大白话讲解卷积神经网络工作原理][B 1]
> 
> **强烈建议先看上面两个视频再阅读本文！**
> 
> 作者：张子豪（同济大学在读研究生）
> 
> 关注微信公众号 **人工智能小技巧** 回复 **卷积神经网络** 或者 **CNN** 即可看到文中的B站视频、Gif动画、三维可视化卷积神经网络网站
> 
> 于2018-11-10发布

### 文章目录 ###

*  1、卷积神经网络应用领域
 *   *  图像分类
     *  人脸识别
     *  自动驾驶
     *  语音处理：将时序声音转化为类似图像的数据结构
     *  自然语言处理：将文本序列转化为类似图像的数据结构
 *  2、三维可视化手写字体识别卷积神经网络内部结构
 *   *  卷积神经网络识别手写字体步骤
 *  3、卷积神经网络内部结构
 *   *  卷积运算：识别图片中指定特征
     *  池化（下采样）：保留特征的同时压缩数据量
     *  全连接：通过加权计算得出结果
     *  模型训练过程
     *   *  损失函数
         *  梯度下降
         *  随机梯度下降
 *  4、几个经典的卷积神经网络模型
 *   *  LeNet-5：识别手写字体的经典卷积神经网络
     *  AlexNet：2012年ImageNet竞赛冠军
     *  GoogLeNet：2014年ImageNet冠军
     *  VGGNet：2014年ImageNet亚军
     *  ResNet深度残差卷积神经网络
     *  各种模型识别成功率比较
 *  5、一些轻松易上手的计算机视觉项目
 *   *  微软年龄测试API
     *  自动生成图片描述—captionbot
     *  微软Custom Vision —不用写代码，三分钟开发一个图像分类应用
     *  Github开源人脸识别项目face\_recognition
     *  在树莓派微型电脑上安装OpenCV
     *  视频剪辑师的福音—微软Video Indexer
 *  6、参考文献与扩展阅读

# 1、卷积神经网络应用领域 #

卷积神经网络可以处理**图像以及一切可以转化成类似图像结构的数据**。相比传统算法和其它神经网络，卷积神经网络能够高效处理图片的二维局部信息，提取图片特征，进行图像分类。通过海量带标签数据输入，用梯度下降和误差反向传播的方法训练模型。

## 图像分类 ##

![图像识别][1240]

## 人脸识别 ##

![人脸识别][strip]

[Github开源人脸识别项目face\_recognition中文文档][Github_face_recognition]

## 自动驾驶 ##

![车道识别][1240 1]

## 语音处理：将时序声音转化为类似图像的数据结构 ##

![卷积神经网络处理语音][1240 2]

## 自然语言处理：将文本序列转化为类似图像的数据结构 ##

![卷积神经网络处理文本信息][1240 3]

# 2、三维可视化手写字体识别卷积神经网络内部结构 #

[网站：三维可视化卷积神经网络][Link 1]  
[http://scs.ryerson.ca/~aharley/vis/conv/][Link 1]

关注微信公众号 **人工智能小技巧** 回复 **卷积神经网络** 即可看到这个手写字体可视化网站。

![可视化手写字体识别卷积神经网络][strip 1]

## 卷积神经网络识别手写字体步骤 ##

![LeNet-5][]

![卷积神经网络工作流程][1240 4]

1、把手写字体图片转换成像素矩阵

2、对像素矩阵进行第一层卷积运算，生成六个feature map

3、对每个feature map进行下采样（也叫做池化），在保留feature map特征的同时缩小数据量。生成六个小图，这六个小图和上一层各自的feature map长得很像，但尺寸缩小了。

4、对六个小图进行第二层卷积运算，生成更多feature map

5、对第二次卷积生成的feature map进行下采样

6、第一层全连接层

7、第二层全连接层

8、高斯连接层，输出结果

关注微信公众号 **人工智能小技巧** 回复 **卷积神经网络** 或者 **CNN** 即可看到文中的B站视频、Gif动画、卷积神经网络可视化网站

# 3、卷积神经网络内部结构 #

## 卷积运算：识别图片中指定特征 ##

用卷积核在原图上滑动，进行卷积运算，得到特征图feature map。

卷积的本质：将原图中符合卷积核特征的特征提取出来，展示在feature map里面。

如果原图是X，卷积核是X，那么卷积核在原图上卷积运算之后生成的feature map也是X。

如果原图是O，卷积核是O，那么卷积核在原图上卷积运算之后生成的feature map也是O。

如果原图是O，卷积核是X，那么卷积核在原图上卷积运算之后生成的feature map就是乱码。

**权值共享**：卷积核扫过整张图片的过程中，卷积核参数不变。

下图的动画中，绿色表示原图像素值，红色数字表示卷积核中的参数，黄色表示卷积核在原图上滑动。右图表示卷积运算之后生成的feature map。

![卷积][6.gif]

下图展示了RGB三个通道图片的卷积运算过程，共有两组卷积核，每组卷积核都有三个filter分别与原图的RGB三个通道进行卷积。每组卷积核各自生成一个feature map。

![多通道图片卷积][20161013104034756.gif]

> 原图最外圈补0：zero padding,便于提取图像边缘的特征。

**局部连接**：feature map上每个值仅对应着原图的一小块区域，原图上的这块局部区域称作感受野（receptive field）。局部连接的思想，受启发于生物学里面的视觉系统，视觉皮层的神经元就是局部接受信息的。

![感受野][1240 5]

![感受野][1240 6]

## 池化（下采样）：保留特征的同时压缩数据量 ##

池化（Pooling）也叫做下采样（subsampling），用一个像素代替原图上邻近的若干像素，在保留feature map特征的同时压缩其大小。

池化的作用：

*  防止数据爆炸，节省运算量和运算时间。
 *  用大而化之的方法防止过拟合、过学习。防止培养出高分低能，在考场（训练集）称霸但在社会上（测试集）混不下去的人工智障。

![池化][Pooling_schematic.gif]

可以用这些像素的最大值作为代表，也可以用平均值作为代表。

![最大池化和平均池化][1240 7]

![下采样][1240 8]

## 全连接：通过加权计算得出结果 ##

![全连接][1240 9]

全连接层：输出的每个神经元都和上一层每一个神经元连接。

卷积核的数量、大小、移动步长、补0的圈数是事先人为根据经验指定的，全连接层隐藏层的层数、神经元个数也是人为根据经验指定的（这叫做超参数），但其内部的参数是训练出来的。

在手写字体识别可视化卷积神经网络中，有两个全连接层：

第一层全连接层：

![第一层全连接][1240 10]

第二层全连接层：

![第二层全连接层][1240 11]

输出结果：

![输出结果][1240 12]

## 模型训练过程 ##

### 损失函数 ###

计算神经网络的推测结果与图片真实标签的差距，构造损失函数，训练的目标就是将找到损失函数的最小值。

### 梯度下降 ###

将损失函数对各种权重、卷积核参数求导，慢慢优化参数，找到损失函数的最小值。

![梯度下降][600]

### 随机梯度下降 ###

在减小损失函数的过程中，采用步步为营的方法，单个样本单个样本输入进行优化，而不是将全部样本计算之后再统一优化。虽然个别样本会出偏差，但随着样本数量增加，仍旧能够逐渐逼近损失函数最小值。

![随机梯度下降][1240 13]

> 前途是光明的,道路是曲折的。——《毛泽东选集》(第四卷)《关于重庆谈判》

# 4、几个经典的卷积神经网络模型 #

## LeNet-5：识别手写字体的经典卷积神经网络 ##

LeNet-5模型是Yann LeCun教授于1998年在论文Gradient-based learning applied to document recognition中提出的，它是第一个成功应用于数字识别问题的卷积神经网络。LeNet-5模型一共有7层。

当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。Yann LeCun教授不是中国人，是法国人，在上世纪80年代读博期间提出“人工神经网络”，但后来该理论一度被认为过时，他本人甚至被拒绝参加学术会议。LenNet-5共有7层（不包括输入层），每层都包含不同数量的训练参数。

![LeNet-5][]

李飞飞 imagenet 2009年开始成立ImageNet网站，采用众包模式，鼓励全世界志愿者上传、筛选、标注、整理图片数据。并每年组织ImageNet图像分类竞赛。

## AlexNet：2012年ImageNet竞赛冠军 ##

2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计,官方提供的数据模型，准确率达到57.1%,top 1-5 达到80.2%。AlexNet引爆了整个深度学习领域，更多学者开始研究卷积神经网络。

![AlexNet:2012年ImageNet竞赛冠军][AlexNet_2012_ImageNet]

## GoogLeNet：2014年ImageNet冠军 ##

![GoogleNet][]

## VGGNet：2014年ImageNet亚军 ##

牛津大学的VGG模型是2014年ILSVRC竞赛的第二名，第一名是GoogLeNet。但是VGG模型在多个迁移学习任务中的表现要优于googLeNet。而且，从图像中提取CNN特征，VGG模型是首选算法。它的缺点在于，参数量有140M之多，需要更大的存储空间。但是这个模型很有研究价值。

![VGGNet][]

## ResNet深度残差卷积神经网络 ##

ResNet在2015年ImageNet比赛分类任务中获得第一名，在图像分类方面已超过人眼。ResNet共有152层，但它不仅仅靠深度取胜，而是通过残差学习的方法训练模型，通过“跨层抄近道”的方法减少参数数量，简单而实用。衍生出ResNet50和ResNet101旁支，Alpha Zero（只训练8个小时就打败了AlphaGo的下棋机器）也使用了ResNet。

> ResNet的作者何恺明是2003年广东省理科高考状元，本科毕业于清华大学，博士毕业于香港中文大学，曾在微软亚洲研究院孙剑领导的研究组实习。何恺明在图像去雾领域也成果颇丰。

![ResNet][]

![ResNet][ResNet 1]

## 各种模型识别成功率比较 ##

![各种冠军神经网路图像分类成功率][1240 14]

> top1和top5是什么？
> 
> 每次识别图片，模型都会给出它认为最像的前五个结果。top1指的是模型认为最像的确实是真实答案的成功率。top5指的是模型认为最像的前五个里有真实答案的成功率。

![ImageNet竞赛错误率逐年下降][ImageNet]

![ImageNet竞赛错误率逐年下降][ImageNet 1]

LeCun教授、李飞飞、Hinton、Alex、何恺明都是人工智能领域的泰山北斗，

# 5、一些轻松易上手的计算机视觉项目 #

## 微软年龄测试API ##

[官方主页][Link 2]

![微软年龄测试工具][1240 15]

## 自动生成图片描述—captionbot ##

[官方网站][Link 3]

![微软captionbot][captionbot]

## 微软Custom Vision —不用写代码，三分钟开发一个图像分类应用 ##

[B站视频：用微软Custom Version识别水果][B_Custom Version]

![快速测试][1240 16]

## Github开源人脸识别项目face\_recognition ##

[face\_recognition项目中文介绍][Github_face_recognition]

![face\_recognition开源项目][face_recognition]

![识别面部关键点][webp]

## 在树莓派微型电脑上安装OpenCV ##

[子豪兄教你在树莓派微型电脑上安装OpenCV][OpenCV]

![500][]

![连接树莓派摄像头Picamera][Picamera]

## 视频剪辑师的福音—微软Video Indexer ##

[官方主页][Link 4]：[http://videoindexer.ai][Link 4]

Video Indexer是非常强大的视频和音频处理工具，用户只需上传视频或音频，即可得到关键词分析、时间线字幕、视频中出现的名人及其讲话时段、情绪分析、关键帧以及带字幕和字幕翻译的视频。

![视频样本][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxODIyNzgx_size_16_color_FFFFFF_t_70]

![字幕][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxODIyNzgx_size_16_color_FFFFFF_t_70 1]

![翻译][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxODIyNzgx_size_16_color_FFFFFF_t_70 2]

# 6、参考文献与扩展阅读 #

> [本文配套B站视频：三分钟走进卷积神经网络][B]
> 
> [本文配套B站视频：大白话讲解卷积神经网络工作原理][B 1]
> 
> [用微软Custom Version识别水果：三分钟开发人工智能小应用][Custom Version]
> 
> [三维可视化卷积神经网络][Link 1]
> 
> [视频：李飞飞TED演讲: 我们怎么教计算机理解图片？][TED_]
> 
> [视频：How Convolutional Neural Networks work][How Convolutional Neural Networks work]
> 
> [ImageNet图片网站][ImageNet 2]
> 
> [卷积神经网络中的池化方法（pooling）总结][pooling]
> 
> [大话CNN经典模型：VGGNet][CNN_VGGNet]
> 
> [一个时代的终结：ImageNet 竞赛 2017 是最后一届][ImageNet _ 2017]
> 
> [ResNet解析][ResNet 2]
> 
> [零基础入门深度学习(4) - 卷积神经网络][4_ -]
> 
> [微软开源人工智能工具和深度学习框架][Link 5]
> 
> [学堂在线慕课：微软人工智能-深度学习框架和工具][-]
> 
> [用Microsoft Custom Vision技术识别点东西吧][Microsoft Custom Vision]
> 
> [微软亚洲研究院][Link 6]
> 
> [微软亚洲研究院20年20人][20_20]
> 
> 作者介绍：
> 
> 张子豪，同济大学在读研究生。微信公众号 **人工智能小技巧** 运营者。致力于用人类能听懂的语言向大众科普人工智能前沿科技。目前正在制作《说人话的人工智能视频教程》、《零基础入门树莓派趣味编程》等视频教程。西南地区人工智能爱好者高校联盟联合创始人，重庆大学人工智能协会联合创始人。充满好奇的终身学习者、崇尚自由的开源社区贡献者、乐于向零基础分享经验的引路人、口才还不错的程序员。
> 
> 说人话的零基础深度学习、数据科学视频教程、树莓派趣味开发视频教程等你来看！
> 
> 微信公众号：**人工智能小技巧**
> 
> 知乎专栏：**人工智能小技巧**
> 
> Github代码仓库:TommyZihao
> 
> 个人主页：[www.python666.org][]
> 
> [同济大学开源软件协会][Link 7]  
> 同济大学微软学生俱乐部  
> 西南人工智能爱好者联盟  
> 重庆大学人工智能协会

![休息一下][1240 17]

[B]: https://www.bilibili.com/video/av35094580
[B 1]: https://www.bilibili.com/video/av35087157
[1240]: /images/20220417/2f49fc88164f424390fec5bc0c21db0b.png
[strip]: /images/20220417/ad9e00a5a4814a8daea14e52566cf86c.png
[Github_face_recognition]: https://www.jianshu.com/p/0b37452be63e
[1240 1]: /images/20220417/97128f0f2f1740478743068247c1c48e.png
[1240 2]: /images/20220417/beeec359e57344c2ae0acb547f96f83e.png
[1240 3]: /images/20220417/a4496a3021594213a020f55fc6c84bd1.png
[Link 1]: http://scs.ryerson.ca/~aharley/vis/conv/
[strip 1]: /images/20220417/de1e4a35a66748e6a894ee113762077b.png
[LeNet-5]: /images/20220417/5b80c41aa37b46428b76a6f19cd315c9.png
[1240 4]: /images/20220417/97e2e1d506654cf7bbe97cb39201d540.png
[6.gif]: http://dataunion.org/wp-content/uploads/2015/03/6.gif
[20161013104034756.gif]: /images/20220417/8d1e606dc74540d59be0b352cc3cc805.png
[1240 5]: /images/20220417/d95f2b51e21044089deab38d9e72ed32.png
[1240 6]: /images/20220417/3684ebfe5c2f45c8a5351ea1d22bb073.png
[Pooling_schematic.gif]: /images/20220417/5dcf928fe7aa46738ec4a7e5b83fbc06.png
[1240 7]: /images/20220417/b7616c40975f46c9a92f246a47237680.png
[1240 8]: /images/20220417/f6a7b46f4f7d4a189568c45ac9f44792.png
[1240 9]: /images/20220417/e1337e1baeb5477190e4a01ccd34b67a.png
[1240 10]: /images/20220417/037c920ba0ef42e08d8d89cbb20572ba.png
[1240 11]: /images/20220417/a688a6ba6db34682a12c623ae23ffd54.png
[1240 12]: /images/20220417/5074cccbe756494ea572e8d712a2def7.png
[600]: /images/20220417/21f6db4cd68f48adb63950c7aa65ea32.png
[1240 13]: /images/20220417/38e5606907014b868b8289023575ca3a.png
[AlexNet_2012_ImageNet]: /images/20220417/c76ad8b49beb4284bc95dafea19d83a6.png
[GoogleNet]: /images/20220417/8f0c3bd920674947ba814a74d0592f6b.png
[VGGNet]: https://static.oschina.net/uploads/space/2018/0314/022939_Pl12_876354.png
[ResNet]: /images/20220417/2b1c9cacc9754e8caa78df7474b11b24.png
[ResNet 1]: /images/20220417/4659fb8fccec4507bd639bea2597cf26.png
[1240 14]: /images/20220417/640277d2578d432e982a94f788486e74.png
[ImageNet]: /images/20220417/a11fdafbf6a3466bbf51b7187345133e.png
[ImageNet 1]: /images/20220417/de710afe198541e3a4fbbe17740af9a8.png
[Link 2]: https://www.how-old.net/
[1240 15]: /images/20220417/cf6bf2c3de5e4caca4d32b6b08b9ed01.png
[Link 3]: https://www.captionbot.ai/
[captionbot]: /images/20220417/5be8f6547a904a17a99b8b33b5157141.png
[B_Custom Version]: https://www.bilibili.com/video/av35093833
[1240 16]: /images/20220417/ee442a8e64ed4c9db9126de12650d766.png
[face_recognition]: /images/20220417/bcab0f4ada314ca6a6f2995cb1bb0090.png
[webp]: /images/20220417/273d98afc2304bb5a57234383b3102a5.png
[OpenCV]: https://www.jianshu.com/p/e0c05388d340
[500]: /images/20220417/c5e87d8ad5e147348b23b04b96653672.png
[Picamera]: /images/20220417/f65120ab09884564917c2891c8193786.png
[Link 4]: http://videoindexer.ai
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxODIyNzgx_size_16_color_FFFFFF_t_70]: /images/20220417/83cc70c5d46f4c64ac34a163d6919375.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxODIyNzgx_size_16_color_FFFFFF_t_70 1]: /images/20220417/21bec8a9de16449a8e65d4de1062fcc5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxODIyNzgx_size_16_color_FFFFFF_t_70 2]: /images/20220417/001db1338ecf47b39cbddc6c17d348e0.png
[Custom Version]: https://zhuanlan.zhihu.com/p/48929173
[TED_]: https://www.youtube.com/watch?v=40riCqvRoMs
[How Convolutional Neural Networks work]: https://www.bilibili.com/video/av11174082?from=search&seid=4739492101890514034
[ImageNet 2]: http://www.image-net.org
[pooling]: https://blog.csdn.net/u011734144/article/details/80137049
[CNN_VGGNet]: https://my.oschina.net/u/876354/blog/1634322
[ImageNet _ 2017]: https://www.sohu.com/a/154352026_494939
[ResNet 2]: https://blog.csdn.net/lanran2/article/details/79057994
[4_ -]: https://www.zybuluo.com/hanbingtao/note/485480
[Link 5]: https://zhuanlan.zhihu.com/p/48444993
[-]: http://www.xuetangx.com/courses/course-v1:MicrosoftX+Microsoft106+2017_T2/pdfbook/0/
[Microsoft Custom Vision]: http://www.sohu.com/a/227641551_181341
[Link 6]: https://www.msra.cn/
[20_20]: https://baijiahao.baidu.com/s?id=1616265160012096539&wfr=spider&for=pc
[www.python666.org]: http://www.python666.org
[Link 7]: https://mirrors.tongji.edu.cn/
[1240 17]: /images/20220417/86411347e4754ecca9b7a24165b5ef71.png