谈谈激活函数以零为中心的问题

ゝ一纸荒年。 2022-11-02 14:28 227阅读 0赞

今天在讨论神经网络中的激活函数时，陆同学提出 Sigmoid 函数的输出不是以零为中心的（non-zero-centered），这会导致神经网络收敛较慢。关于这一点，过去我只是将其记下，却并未理解背后的原因。此篇谈谈背后的原因。

## 神经元 ##

![7f568b8f8b780ad3f36632adbf26193f.png][]

> 图片来自：[https://zhuanlan.zhihu.com/p/25110450][https_zhuanlan.zhihu.com_p_25110450]

如图是神经网络中一个典型的神经元设计，它完全仿照人类大脑中神经元之间传递数据的模式设计。大脑中，神经元通过若干树突（dendrite）的突触（synapse），接受其他神经元的轴突（axon）或树突传递来的消息，而后经过处理再由轴突输出。

在这里，诸 xi 是其他神经元的轴突传来的消息，诸 wi 是突触对消息的影响，诸 wixi 则是神经元树突上传递的消息。这些消息经由神经元整合后（z(x→;w→,b)=∑iwixi+b）再激活输出（f(z)）。这里，整合的过程是线性加权的过程，各输入特征 xi 之间没有相互作用。激活函数（active function）一般来说则是非线性的，各输入特征 xi 在此处相互作用。

## Sigmoid 与 tanh ##

此篇集中讨论激活函数输出是否以零为中心的问题，因而不对激活函数做过多的介绍，而只讨论 Sigmoid 与 tanh 两个激活函数。

### Sigmoid 函数 ###

Sigmoid 函数的一般形式是

σ(x;a)=11+e−ax.

这里，参数 a 控制 Sigmoid 函数的形状，对函数基本性质没有太大的影响。在神经网络中，一般设置 a=1，直接省略。

Sigmoid 函数的导数很好求

σ′(x)=σ(x)(1−σ(x)).

![da7823ffcc65567e7bddfe372d76af0f.png][]

> 图片来自：[https://zhuanlan.zhihu.com/p/25110450][https_zhuanlan.zhihu.com_p_25110450]

### tanh 函数 ###

tanh 函数全称 Hyperbolic Tangent，即双曲正切函数。它的表达式是

tanh⁡(x)=2σ(2x)−1=ex−e−xex+e−x.

双曲正切函数的导数也很好求

tanh′⁡(x)=1−tanh2⁡(x).

![7d05e4a0c4e7adfb318d70bd361b90fd.png][]

> 图片来自：[https://zhuanlan.zhihu.com/p/25110450][https_zhuanlan.zhihu.com_p_25110450]

### 一些性质 ###

Sigmoid 和 tanh 两个函数非常相似，具有不少相同的性质。简单罗列如下

*  优点：平滑
 *  优点：易于求导
 *  缺点：幂运算相对耗时
 *  缺点：导数值小于 1，反向传播易导致梯度消失（Gradient Vanishing）

对于 Sigmoid 函数来说，它的值域是 (0,1)，因此又有如下特点

*  优点：可以作为概率，辅助模型解释
 *  缺点：输出值不以零为中心，可能导致模型收敛速度慢

此篇重点讲 Sigmoid 函数输出值不以零为中心的这一缺点。

## 收敛速度 ##

这里首先需要给收敛速度做一个诠释。模型的最优解即是模型参数的最优解。通过逐轮迭代，模型参数会被更新到接近其最优解。这一过程中，迭代轮次多，则我们说模型收敛速度慢；反之，迭代轮次少，则我们说模型收敛速度快。

### 参数更新 ###

深度学习一般的学习方法是反向传播。简单来说，就是通过链式法则，求解全局损失函数 L(x→) 对某一参数 w 的偏导数（梯度）；而后辅以学习率 η，向梯度的反方向更新参数 w。

w←w−η⋅∂L∂w.

考虑学习率 η 是全局设置的超参数，参数更新的核心步骤即是计算 ∂L∂w。再考虑到对于某个神经元来说，其输入与输出的关系是

f(x→;w→,b)=f(z)=f(∑iwixi+b).

因此，对于参数 wi 来说，

∂L∂wi=∂L∂f∂f∂z∂z∂wi=xi⋅∂L∂f∂f∂z.

因此，参数的更新步骤变为

wi←wi−ηxi⋅∂L∂f∂f∂z.

### 更新方向 ###

由于 wi 是上一轮迭代的结果，此处可视为常数，而 η 是模型超参数，参数 wi 的更新方向实际上由 xi⋅∂L∂f∂f∂z 决定。

又考虑到 ∂L∂f∂f∂z 对于所有的 wi 来说是常数，因此各个 wi 更新方向之间的**差异**，完全由对应的输入值 xi 的符号决定。

### 以零为中心的影响 ###

至此，为了描述方便，我们以二维的情况为例。亦即，神经元描述为

f(x→;w→,b)=f(w0x0+w1x1+b).

现在假设，参数 w0, w1 的最优解 w0∗, w1∗ 满足条件

\{w0<w0∗,w1⩾w1∗.

这也就是说，我们希望 w0 适当增大，但希望 w1 适当减小。考虑到上一小节提到的更新方向的问题，这就必然要求 x0 和 x1 符号相反。

但在 Sigmoid 函数中，输出值恒为正。这也就是说，**如果上一级神经元采用 Sigmoid 函数作为激活函数，那么我们无法做到 x0 和 x1 符号相反**。此时，模型为了收敛，不得不向逆风前行的风助力帆船一样，走 Z 字形逼近最优解。

![b405acd67e87511984bf925a11e5cdac.png][]

如图，模型参数走绿色箭头能够最快收敛，但由于输入值的符号总是为正，所以模型参数可能走类似红色折线的箭头。如此一来，使用 Sigmoid 函数作为激活函数的神经网络，收敛速度就会慢上不少了。

[7f568b8f8b780ad3f36632adbf26193f.png]: /images/20221024/ff6a7729f62f46cebd0fef922389d138.png
[https_zhuanlan.zhihu.com_p_25110450]: https://zhuanlan.zhihu.com/p/25110450
[da7823ffcc65567e7bddfe372d76af0f.png]: /images/20221024/2c99761748904ba386db3c0fb6168ebe.png
[7d05e4a0c4e7adfb318d70bd361b90fd.png]: /images/20221024/bd86fb64106c4930a2d3252da367ac4e.png
[b405acd67e87511984bf925a11e5cdac.png]: /images/20221024/6b40a0fcb3f74b04940ddbe3f66d6fc2.png