一文看懂深度学习——人工智能系列学习笔记

怼烎@ 2022-09-16 04:52 331阅读 0赞

![一文看懂深度学习][2019-07-08-banner.png]

> 深度学习有很好的表现，引领了第三次人工智能的浪潮。目前大部分表现优异的应用都用到了深度学习，大红大紫的 AlphaGo 就使用到了深度学习。
> 
> 本文将详细的给大家介绍深度学习的基本概念、优缺点和主流的几种算法。

## 深度学习、神经网络、机器学习、人工智能的关系 ##

**深度学习、机器学习、人工智能**

简单来说：

1.  深度学习是机器学习的一个分支(最重要的分支)
2.  机器学习是人工智能的一个分支

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2l6ICB6ZOB5bmy5LqG6L-Z56KX5Luj56CB_size_20_color_FFFFFF_t_70_g_se_x_16]

目前表现最好的一些应用大部分都是深度学习，正是因为深度学习的突出表现，引发了人工智能的第三次浪潮。详情可以看《[人工智能的发展史——3次 AI 浪潮][3_ AI]》

详细了解人工智能：《[“2019更新”什么是人工智能？（AI的本质+发展史+局限性）][2019_AI]》

详细了解机器学习：《[“75页PDF免费下载”面向所有人的机器学习科普大全][75_PDF]》

**深度学习、神经网络**

深度学习的概念源于人工神经网络的研究，但是并不完全等于传统神经网络。

不过在叫法上，很多深度学习算法中都会包含”神经网络”这个词，比如：卷积神经网络、循环神经网络。

**所以，深度学习可以说是在传统神经网络基础上的升级，约等于神经网络。**

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2l6ICB6ZOB5bmy5LqG6L-Z56KX5Luj56CB_size_20_color_FFFFFF_t_70_g_se_x_16 1]

## 大白话解释深度学习 ##

看了很多版本的解释，发现李开复在《[人工智能][Link 1]》一书中讲的是最容易理解的，所以下面直接引用他的解释：

我们以识别图片中的汉字为例。

假设深度学习要处理的信息是“水流”，而处理数据的深度学习网络是一个由管道和阀门组成的巨大水管网络。网络的入口是若干管道开口，网络的出口也是若干管道开口。这个水管网络有许多层，每一层由许多个可以控制水流流向与流量的调节阀。根据不同任务的需要，水管网络的层数、每层的调节阀数量可以有不同的变化组合。对复杂任务来说，调节阀的总数可以成千上万甚至更多。水管网络中，每一层的每个调节阀都通过水管与下一层的所有调节阀连接起来，组成一个从前到后，逐层完全连通的水流系统。

!\[在这里插入图片描述\](https://img-blog.csdnimg.cn/dcf2562f222042a8a74c54ea52fda2e1.png?x-oss-process=image/watermark,type\_ZHJvaWRzYW5zZmFsbGJhY2s,shadow\_50,text\_Q1NETiBA5p2l6ICB6ZOB5bmy5LqG6L-Z56KX5Luj56CB,size\_20,color\_FFFFFF,t\_70,g\_se,x\_16)

那么，计算机该如何使用这个庞大的水管网络来学习识字呢？

比如，当计算机看到一张写有“田”字的图片，就简单将组成这张图片的所有数字（在计算机里，图片的每个颜色点都是用“0”和“1”组成的数字来表示的）全都变成信息的水流，从入口灌进水管网络。

!\[在这里插入图片描述\](https://img-blog.csdnimg.cn/d48c3dfd3db4472ea00a8a755aa04885.png?x-oss-process=image/watermark,type\_ZHJvaWRzYW5zZmFsbGJhY2s,shadow\_50,text\_Q1NETiBA5p2l6ICB6ZOB5bmy5LqG6L-Z56KX5Luj56CB,size\_20,color\_FFFFFF,t\_70,g\_se,x\_16)

我们预先在水管网络的每个出口都插一块字牌，对应于每一个我们想让计算机认识的汉字。这时，因为输入的是“田”这个汉字，等水流流过整个水管网络，计算机就会跑到管道出口位置去看一看，是不是标记由“田”字的管道出口流出来的水流最多。如果是这样，就说明这个管道网络符合要求。如果不是这样，就调节水管网络里的每一个流量调节阀，让“田”字出口“流出”的水最多。

这下，计算机要忙一阵了，要调节那么多阀门！好在计算机的速度快，暴力的计算加上算法的优化，总是可以很快给出一个解决方案，调好所有阀门，让出口处的流量符合要求。

![深度学习-识别田字][-]

下一步，学习“申”字时，我们就用类似的方法，把每一张写有“申”字的图片变成一大堆数字组成的水流，灌进水管网络，看一看，是不是写有“申”字的那个管道出口流水最多，如果不是，我们还得再调整所有的阀门。这一次，要既保证刚才学过的“田”字不受影响，也要保证新的“申”字可以被正确处理。

![深度学习-学习申字][- 1]

如此反复进行，知道所有汉字对应的水流都可以按照期望的方式流过整个水管网络。这时，我们就说，这个水管网络是一个训练好的深度学习模型了。当大量汉字被这个管道网络处理，所有阀门都调节到位后，整套水管网络就可以用来识别汉字了。这时，我们可以把调节好的所有阀门都“焊死”，静候新的水流到来。

![深度学习-学习所有汉字][- 2]

与训练时做的事情类似，未知的图片会被计算机转变成数据的水流，灌入训练好的水管网络。这时，计算机只要观察一下，哪个出水口流出来的水流最多，这张图片写的就是哪个字。

**深度学习大致就是这么一个用人类的数学知识与计算机算法构建起来的整体架构，再结合尽可能多的训练数据以及计算机的大规模运算能力去调节内部参数，尽可能逼近问题目标的半理论、半经验的建模方式。**

## 传统机器学习 VS 深度学习 ##

**传统机器学习和深度学习的相似点**

![传统机器学习和深度学习的相似点][2019-06-06-xiangsi.png]

在数据准备和预处理方面，两者是很相似的。

他们都可能对数据进行一些操作：

*  数据清洗
 *  数据标签
 *  归一化
 *  去噪
 *  降维

对于数据预处理感兴趣的可以看看《[AI 数据集最常见的6大问题（附解决方案）][AI _6]》

**传统机器学习和深度学习的核心区别**

![传统机器学习和深度学习的核心区别][2019-06-06-butong.png]

传统机器学习的特征提取主要依赖人工，针对特定简单任务的时候人工提取特征会简单有效，但是并不能通用。

深度学习的特征提取并不依靠人工，而是机器自动提取的。这也是为什么大家都说深度学习的可解释性很差，因为有时候深度学习虽然能有好的表现，但是我们并不知道他的原理是什么。

## 深度学习的优缺点 ##

![深度学习的优缺点][2019-06-06-youquedian.png]

**优点1：学习能力强**

从结果来看，深度学习的表现非常好，他的学习能力非常强。

**优点2：覆盖范围广，适应性好**

深度学习的神经网络层数很多，宽度很广，理论上可以映射到任意函数，所以能解决很复杂的问题。

**优点3：数据驱动，上限高**

深度学习高度依赖数据，数据量越大，他的表现就越好。在图像识别、面部识别、[NLP][] 等部分任务甚至已经超过了人类的表现。同时还可以通过调参进一步提高他的上限。

**优点4：可移植性好**

由于深度学习的优异表现，有很多框架可以使用，例如 [TensorFlow][]、[Pytorch][]。这些框架可以兼容很多平台。

**缺点1：计算量大，便携性差**

深度学习需要大量的数据很大量的算力，所以成本很高。并且现在很多应用还不适合在移动设备上使用。目前已经有很多公司和团队在研发针对便携设备的芯片。这个问题未来会得到解决。

**缺点2：硬件需求高**

深度学习对算力要求很高，普通的 CPU 已经无法满足深度学习的要求。主流的算力都是使用 [GPU][] 和 [TPU][]，所以对于硬件的要求很高，成本也很高。

**缺点3：模型设计复杂**

深度学习的模型设计非常复杂，需要投入大量的人力物力和时间来开发新的算法和模型。大部分人只能使用现成的模型。

**缺点4：没有”人性”，容易存在偏见**

由于深度学习依赖数据，并且可解释性不高。在训练数据不平衡的情况下会出现性别歧视、种族歧视等问题。

## 4种典型的深度学习算法 ##

![4种典型的深度学习算法][4]

### 卷积神经网络 – CNN ###

**[CNN][] 的价值：**

1.  能够将大数据量的图片有效的降维成小数据量(并不影响结果)
2.  能够保留图片的特征，类似人类的视觉原理

**CNN 的基本原理：**

1.  卷积层 – 主要作用是保留图片的特征
2.  池化层 – 主要作用是把数据降维，可以有效的避免过拟合
3.  全连接层 – 根据不同任务输出我们想要的结果

**CNN 的实际应用：**

1.  图片分类、检索
2.  目标定位检测
3.  目标分割
4.  人脸识别
5.  骨骼识别

了解更多《[一文看懂卷积神经网络-CNN（基本原理+独特价值+实际应用）][CNN]》

### 循环神经网络 – RNN ###

[RNN][] 是一种能有效的处理序列数据的算法。比如：文章内容、语音音频、股票价格走势…

之所以他能处理序列数据，是因为在序列中前面的输入也会影响到后面的输出，相当于有了“记忆功能”。但是 RNN 存在严重的短期记忆问题，长期的数据影响很小（哪怕他是重要的信息）。

于是基于 RNN 出现了 [LSTM][] 和 GRU 等变种算法。这些变种算法主要有几个特点：

1.  长期信息可以有效的保留
2.  挑选重要信息保留，不重要的信息会选择“遗忘”

RNN 几个典型的应用如下：

1.  文本生成
2.  语音识别
3.  机器翻译
4.  生成图像描述
5.  视频标记

了解更多《[一文看懂循环神经网络-RNN（独特价值+优化算法+实际应用）][RNN]》

### 生成对抗网络 – GANs ###

假设一个城市治安混乱，很快，这个城市里就会出现无数的小偷。在这些小偷中，有的可能是盗窃高手，有的可能毫无技术可言。假如这个城市开始整饬其治安，突然开展一场打击犯罪的“运动”，警察们开始恢复城市中的巡逻，很快，一批“学艺不精”的小偷就被捉住了。之所以捉住的是那些没有技术含量的小偷，是因为警察们的技术也不行了，在捉住一批低端小偷后，城市的治安水平变得怎样倒还不好说，但很明显，城市里小偷们的平均水平已经大大提高了。

警察们开始继续训练自己的破案技术，开始抓住那些越来越狡猾的小偷。随着这些职业惯犯们的落网，警察们也练就了特别的本事，他们能很快能从一群人中发现可疑人员，于是上前盘查，并最终逮捕嫌犯；小偷们的日子也不好过了，因为警察们的水平大大提高，如果还想以前那样表现得鬼鬼祟祟，那么很快就会被警察捉住。为了避免被捕，小偷们努力表现得不那么“可疑”，而魔高一尺、道高一丈，警察也在不断提高自己的水平，争取将小偷和无辜的普通群众区分开。随着警察和小偷之间的这种“交流”与“切磋”，小偷们都变得非常谨慎，他们有着极高的偷窃技巧，表现得跟普通群众一模一样，而警察们都练就了“火眼金睛”，一旦发现可疑人员，就能马上发现并及时控制——最终，我们同时得到了最强的小偷和最强的警察。

![同时得到了最强的小偷和最强的警察][Image 1]![同时得到了最强的小偷和最强的警察][2019-07-16-tg.png]

了解更多《[什么是生成对抗网络 – GAN？（基本概念+工作原理）][_ GAN]》

### 深度强化学习 – RL ###

强化学习算法的思路非常简单，以游戏为例，如果在游戏中采取某种策略可以取得较高的得分，那么就进一步“强化”这种策略，以期继续取得较好的结果。这种策略与日常生活中的各种“绩效奖励”非常类似。我们平时也常常用这样的策略来提高自己的游戏水平。

在 Flappy bird 这个游戏中，我们需要简单的点击操作来控制小鸟，躲过各种水管，飞的越远越好，因为飞的越远就能获得更高的积分奖励。

这就是一个典型的强化学习场景：

*  机器有一个明确的小鸟角色——代理
 *  需要控制小鸟飞的更远——目标
 *  整个游戏过程中需要躲避各种水管——环境
 *  躲避水管的方法是让小鸟用力飞一下——行动
 *  飞的越远，就会获得越多的积分——奖励

![游戏是典型的强化学习场景][2019-04-17-changjing.png]

你会发现，强化学习和监督学习、无监督学习 最大的不同就是不需要大量的“数据喂养”。而是通过自己不停的尝试来学会某些技能。

了解更多：《[一文看懂什么是强化学习？（基本概念+应用场景+主流算法）][Link 2]》

## 总结 ##

深度学习属于机器学习的范畴，深度学习可以说是在传统神经网络基础上的升级，约等于神经网络。

深度学习和传统机器学习在数据预处理上都是类似的。核心差别在特征提取环节，深度学习由机器自己完成特征提取，不需要人工提取。

**深度学习的优点：**

1.  学习能力强
2.  覆盖范围广，适应性好
3.  数据驱动，上限高
4.  可移植性好

**深度学习的缺点：**

1.  计算量大，便携性差
2.  硬件需求高
3.  模型设计复杂
4.  没有”人性”，容易存在偏见

**深度学习的4种典型算法：**

1.  卷积神经网络 – CNN
2.  循环神经网络 – RNN
3.  生成对抗网络 – GANs
4.  深度强化学习 – RL

## 百度百科版本+维基百科 ##

百度百科版本

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。

[查看详情][Link 3]

维基百科版本

深度学习（也称为深度结构化学习 或分层学习）是基于学习数据表示的更广泛的机器学习方法系列的一部分，而不是特定于任务的算法。学习可以是监督，半监督或无监督。

深度学习架构，如深度神经网络，深度置信网络和递归神经网络，已应用于计算机视觉，语音识别，自然语言处理，音频识别，社交网络过滤，机器翻译，生物信息学，药物设计，医学图像分析等领域。 材料检查和棋盘游戏程序，它们产生的结果可与人类专家相媲美，在某些情况下优于人类专家。

深度学习模型受到生物神经系统中信息处理和通信模式的模糊启发，但与生物大脑（尤其是人类大脑）的结构和功能特性存在各种差异，这使得它们与神经科学证据不相容。

[查看详情][Link 4]

## 扩展阅读 ##

### 入门类文章（5） ###

[深度学习背后的基础-神经网络揭秘][- 3]

[Deep Learning – All You Need to Know][Deep Learning _ All You Need to Know]

[技术科普：用高中数学理解 AI “深度学习”的基本原理][AI]

[AI知识图鉴：机器学习、深度学习、数据分析、数据挖掘][AI 1]

[三分钟看懂人工智能核心技术：深度学习][Link 5]

--------------------

### 相关课程、书籍（4）  [Fast.ai——深度学习教程][Fast.ai]  [DeepLearning.ai——深度学习教程][DeepLearning.ai]  著名的斯坦福教程（[图像识别][Link 6] | [自然语言处理][Link 7]）  [极客Array做的吴恩达深度学习笔记（多篇连载）][Array]  《[深度学习][Link 8]》  《[Python深度学习][Python]》 ###

##  ##

--------------------

### 开拓视野类文章（5） ###

[【DLIndaba2019】微软大佬带你学习深度学习基础，82页PPT][DLIndaba2019_82_PPT]（2019-9）

[深度学习算法地图][Link 9]（2019-5）

[F-Principle：初探理解深度学习不能做什么][F-Principle]

[破局！Alan Yuille：深度学习关键在于克服组合爆炸][Alan Yuille]

[影响堪比登月！谷歌等探索深度学习新理论蓝图，让神经网络更深更窄][Link 10]

--------------------

### 实践类文章（4） ###

[李飞飞高徒、AI“网红”Karpathy：训练神经网络不得不看的33个技巧][AI_Karpathy_33]

[深度学习七个实用技巧][Link 11]

[德国普马研究所发布DEEPOBS：深度学习优化器基准套件][DEEPOBS]

[如何分分钟构建强大又好用的深度学习环境？][Link 12]

[2019-07-08-banner.png]: /images/20220828/fe1503bed14e461680b4c41f1faac305.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2l6ICB6ZOB5bmy5LqG6L-Z56KX5Luj56CB_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/618c990f5d3e4913a981796b53526acb.png
[3_ AI]: https://easyai.tech/blog/ai-history/
[2019_AI]: https://easyai.tech/ai-definition/ai/
[75_PDF]: https://easyai.tech/blog/all-you-need-to-know-about-machine-learning/
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2l6ICB6ZOB5bmy5LqG6L-Z56KX5Luj56CB_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/e7b4fc5285be4076a2eb574d6a966773.png
[Link 1]: https://amazon.cn/gp/product/B06Y4141WL/ref=as_li_qf_asin_il_tl?ie=UTF8&tag=106366349-23&creative=3200&linkCode=as2&creativeASIN=B06Y4141WL&linkId=de21a3460960208b0e4dd9cf5b99306c
[-]: /images/20220828/64d25be0074848beb979dd7edfd5430f.png
[- 1]: /images/20220828/7e5824e888e24a94a5d4e38f408f8ea8.png
[- 2]: /images/20220828/4b66e21d73334292829e68dc28bdaa82.png
[2019-06-06-xiangsi.png]: /images/20220828/8d9711962ea54d14a4db59559c1a20ad.png
[AI _6]: https://easyai.tech/blog/ai-dataset-6-problem-solution/
[2019-06-06-butong.png]: /images/20220828/d1ce31e5ecac4ea48c5ea9e95708aee6.png
[2019-06-06-youquedian.png]: /images/20220828/55d0659b0a674c428823d6dc026c9409.png
[NLP]: https://easyai.tech/ai-definition/nlp/
[TensorFlow]: https://easyai.tech/tensorflow-course-source/
[Pytorch]: https://easyai.tech/PyTorch/
[GPU]: https://easyai.tech/ai-definition/gpugraphics-processing-unit/
[TPU]: https://easyai.tech/ai-definition/tpu%EF%BC%88tensor-processing-unit%EF%BC%89/
[4]: /images/20220828/3006eb6cfac44591ae4e7c08c2cc9b40.png
[CNN]: https://easyai.tech/ai-definition/cnn/
[RNN]: https://easyai.tech/ai-definition/rnn/
[LSTM]: https://easyai.tech/ai-definition/lstm/
[Image 1]: 
[2019-07-16-tg.png]: /images/20220828/adc0a6c6d0b946a38a570d0c95292456.png
[_ GAN]: https://easyai.tech/ai-definition/gan/
[2019-04-17-changjing.png]: /images/20220828/4304500d62ed44949c57060a2d1a4483.png
[Link 2]: https://easyai.tech/ai-definition/reinforcement-learning/
[Link 3]: https://baike.baidu.com/item/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/3729729
[Link 4]: https://en.wikipedia.org/wiki/Deep_learning
[- 3]: https://mp.weixin.qq.com/s/Kxv7VrATSRFYeGnmfmat7Q
[Deep Learning _ All You Need to Know]: https://github.com/osforscience/deep-learning-ocean
[AI]: http://www.woshipm.com/ai/1764945.html
[AI 1]: http://wemedia.ifeng.com/89898794/wemedia.shtml
[Link 5]: http://wemedia.ifeng.com/91251975/wemedia.shtml
[Fast.ai]: https://www.fast.ai
[DeepLearning.ai]: https://www.deeplearning.ai/
[Link 6]: http://cs231n.stanford.edu/
[Link 7]: http://cs224d.stanford.edu/
[Array]: https://feng.ifeng.com/author/1192023
[Link 8]: https://book.douban.com/subject/27087503/
[Python]: https://book.douban.com/subject/30293801/
[DLIndaba2019_82_PPT]: https://mp.weixin.qq.com/s/Vo6pG3oj-4y0pf4pFwQGeA
[Link 9]: https://mp.weixin.qq.com/s/fRBdRo8eI1N_bUqh7k7I3A
[F-Principle]: https://500659.kuaizhan.com/12/90/p59299699202175
[Alan Yuille]: https://baijiahao.baidu.com/s?id=1625339383563002006&wfr=spider&for=pc
[Link 10]: https://baijiahao.baidu.com/s?id=1625146384405354775&wfr=spider&for=pc
[AI_Karpathy_33]: https://mp.weixin.qq.com/s/3zqOdUZbaA3o2gjk2Iylhw
[Link 11]: https://mp.weixin.qq.com/s/JfaFddpN9mdgMprE6Y0ffg
[DEEPOBS]: https://mp.weixin.qq.com/s/LuHi6GGYeAC4lut0ueezcw
[Link 12]: https://www.jiqizhixin.com/articles/2019-03-15-16