饱和非线性和非饱和非线性

「爱情、让人受尽委屈。」 2024-04-18 10:24 66阅读 0赞

[ImageNet Classification with Deep Convolutional Neural Networks][]第三节解释了他们使用的卷积神经网络架构。

# 饱和非线性 #

饱和的激活函数会将输出结果缩放到有限的区间：  
sigmoid激活函数的范围是\[0, 1\]，所以它是饱和的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70]  
tanh激活函数的范围是\[-1,1\]，所以它是饱和的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70 1]

# 非饱和非线性 #

非饱和的激活函数会将输出结果缩放到无穷区间  
![在这里插入图片描述][20190905111736638.png]  
对于ReLU激活函数f(x) = max(0, x)，当x趋于正无穷则f(x)也趋于正无穷。所以该函数是非饱和的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70 2]

[ImageNet Classification with Deep Convolutional Neural Networks]: http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/70ca2f254fbe40a08084a4cf8e45ff51.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9392bef880d644209ada008e5ee17ed4.png
[20190905111736638.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/c3134a46ae1341e299182cba7cde23b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNDI4_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/349f5fff670740acb3f23f2464d634bb.png