饱和非线性（saturating nonlinearity）和非饱和非线性（non-saturating nonlinearity）

╰+攻爆jí腚メ 2023-07-04 06:24 28阅读 0赞

在AlexNet论文《 ImageNet Classification with Deep Convolutional Neural Networks》第3节中提到了饱和非线性（saturating nonlinearity）和非饱和非线性（non-saturating nonlinearity）的概念，这里做一个解释。

# 定义 #

直观定义：一个饱和的激活函数会将输出结果压缩到有限的区间。

*  如果函数f是非饱和的，那么有：

( ∣ lim ⁡ z → − ∞ f ( z ) ∣ = + ∞ ) ∨ ( ∣ lim ⁡ z → + ∞ f ( z ) ∣ = + ∞ ) (|\\lim\_\{z \\to −\\infty\} f(z)|=+\\infty) \\lor (|\\lim\_\{z \\to +\\infty\} f(z)|=+\\infty) (∣z→−∞limf(z)∣=\+∞)∨(∣z→\+∞limf(z)∣=\+∞)

*  反之，即为饱和函数。

# 示例 #

ReLU激活函数定义为 f ( x ) = m a x ( 0 , x ) f(x)=max(0,x) f(x)=max(0,x)，由于 lim ⁡ z → + ∞ f ( z ) = + ∞ \\lim\_\{z \\to +\\infty\} f(z)=+\\infty limz→\+∞f(z)=\+∞，因此ReLU不饱和：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70]

sigmoid激活函数定义为 f ( x ) = 1 1 + e − x f(x)=\\frac\{1\}\{1+e^\{-x\}\} f(x)=1\+e−x1，由于它将实数压缩到区间 \[ 0 , 1 \] \[0,1\] \[0,1\]之间，因此sigmoid是饱和的：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70 1]

tanh激活函数定义为 tanh ⁡ ( x ) = 1 − e − 2 x 1 + e − 2 x \\tanh(x)=\\frac\{1-e^\{-2x\}\}\{1+e^\{-2x\}\} tanh(x)=1\+e−2x1−e−2x，由于它将实数压缩到区间 \[ − 1 , 1 \] \[−1,1\] \[−1,1\]之间，因此tanh是饱和的：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70 2]

### 参考 ###

\[1\] 图片来源：[http://cs231n.github.io/neural-networks-1/][http_cs231n.github.io_neural-networks-1]  
\[2\] [https://stats.stackexchange.com/questions/174295/what-does-the-term-saturating-nonlinearities-mean][https_stats.stackexchange.com_questions_174295_what-does-the-term-saturating-nonlinearities-mean]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200209105253813.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020020910572710.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200209110900723.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc=,size_16,color_FFFFFF,t_70
[http_cs231n.github.io_neural-networks-1]: http://cs231n.github.io/neural-networks-1/
[https_stats.stackexchange.com_questions_174295_what-does-the-term-saturating-nonlinearities-mean]: https://stats.stackexchange.com/questions/174295/what-does-the-term-saturating-nonlinearities-mean