Pytorch 激活函数

一时失言乱红尘 2021-12-18 23:15 404阅读 0赞

激活函数（activation functions）的目标是，将神经网络非线性化。激活函数是连续的（continuous），且可导的（differential）。

*  连续的：当输入值发生较小的改变时，输出值也发生较小的改变；
 *  可导的：在定义域中，每一处都是存在导数；

神经网络中比较常用的激活函数有sigmoid、tanh、ReLU，Leaky ReLU、Maxout：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWNhbzE5OTA_size_16_color_FFFFFF_t_70][]

在PyTorch的老版本里这些激活函数在`torch.nn.functional`下，目前在`torch`下可以使用。

1. Sigmoid

数据将被映射到0到1之间。

![20190701171658198.png][]

示例代码：

import torch
    
    a = torch.linspace(-100, 100, 10)
    print(torch.sigmoid(a))

输出结果：

tensor([0.0000e+00, 1.6655e-34, 7.4564e-25, 3.3382e-15, 1.4945e-05, 9.9999e-01,
            1.0000e+00, 1.0000e+00, 1.0000e+00, 1.0000e+00])

2. Tanh

可以由Sigmoid变换得到，数据将被映射到-1到1之间。

![20190701172619827.png][]

示例代码：

b = torch.linspace(-1, 1, 10)
    print(torch.tanh(b))

输出结果：

tensor([-0.7616, -0.6514, -0.5047, -0.3215, -0.1107,  0.1107,  0.3215,  0.5047,
             0.6514,  0.7616])

3. ReLU

即Rectified Linear Unit，是现在DL用得最多的激活函数。ReLU在输入正信号时保证输出信号的导数是1，避免了当输入过大时引起（前面Sigmoid或者Tanh都会出现的）梯度弥散。

![20190701172813794.png][]

示例代码：

c = torch.linspace(-1, 1, 10)
    print(torch.relu_(c))

输出结果：

tensor([0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.1111, 0.3333, 0.5556, 0.7778,
            1.0000])

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWNhbzE5OTA_size_16_color_FFFFFF_t_70]: /images/20211219/984beb297770405381f93dd585ee3db4.png
[20190701171658198.png]: /images/20211219/3a8103bc0b37461c927677f1186fa15b.png
[20190701172619827.png]: /images/20211219/2c9dde479cda48ba8c54ffab21607fb8.png
[20190701172813794.png]: /images/20211219/95534a606ad14371a42529a6082a6d7d.png