【深度学习算法原理】经典CNN结构——AlexNet

清疚 2022-06-09 06:45 290阅读 0赞

# 1. 概述 #

AlexNet卷积神经网络在CNN的发展过程中起着非常重要的作用，AlexNet是由加拿大多伦多大学的Alex Krizhevsky等人提出。

# 2. 算法的基本思想 #

## 2.1. AlexNet的网络结构 ##

AlexNet的网络结构如下图所示：  
![这里写图片描述][517e117758901ac9e40c0d965a65f07b.png]  
抛开两个GPU的结构不说，这主要是因为受当时的计算环境的影响。对于AlexNet的结构，从上面的图可以看出，AlexNet网络中包含5个卷积层和3个全连接层。

## 2.2. AlexNet网络结构的主要特点 ##

在神经网络中，使用的激活函数通常有：Sigmoid函数，Tanh函数。这两个激活函数属于**饱和非线性**（saturating nonlinearities），在训练的过程中会出现梯度弥散的现象（反向传播时梯度接近为0），在梯度下降法过程中比非饱和非线性的激活函数的训练速度慢，而Rectified Linear Units（ReLUs） 。

ReLu激活函数的具体形式为：

f ( x ) = m a x ( 0 , x ) f\\left ( x \\right )=max\\left ( 0,x \\right ) f(x)=max(0,x)

其函数的图像如下图所示：  
![这里写图片描述][9a18959681cbae80908cf4ee8f2ccceb.png]

# 参考文章 #

*  [ImageNet Classification with Deep Convolutional Neural Networks][]

[517e117758901ac9e40c0d965a65f07b.png]: /images/20220609/93349931c9914285bd7a51a9180e552b.png
[9a18959681cbae80908cf4ee8f2ccceb.png]: /images/20220609/912a90f66ae64f44bcd5725fc254fc07.png
[ImageNet Classification with Deep Convolutional Neural Networks]: http://www.micc.unifi.it/bagdanov/pdfs/AlexNet.pdf