从感知机到神经网络

ゞ浴缸里的玫瑰 2022-04-02 09:18 350阅读 0赞

在我的之前的博客中已经讲解了[感知机][Link 1]，接下来谈到的神经网络与感知机有许多共同之处，下面主要是讲讲神经网络与感知机的不同之处。首先来看看一个神经网络的示例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70][]

上图示，最左侧是输入层，中间的一列被称为中间层，也被称之为隐藏层，最右一列被称为输出层。

则，神经网络在信号传递的过程中与感知机有什么联系呢？在之前的[感知机][Link 1]中提到，其网络结构如下图所示：

![20181226142005495.png][]

公式表示为：

![y=\\begin\{cases\} & \\text\{ 0 \} (b+w\_1x\_1+w\_2x\_2 \\leq 0) \\\\ & \\text\{ 1 \} (b+w\_1x\_1+w\_2x\_2 > 0) \\end\{cases\}][y_begin_cases_ _ _text_ 0 _ _b_w_1x_1_w_2x_2 _leq 0_ _ _ _text_ 1 _ _b_w_1x_1_w_2x_2 _ 0_ _end_cases]

其中，b为偏置，用于控制神经元被激活的容易程度；![w\_1][w_1]和![w\_2][w_2] 分别表示为各个信号的权重参数，用于控制各个信号的重要性。

现将上述公式改写为：

![y=h(b+w\_1x\_1+w\_2x\_2) \\quad \\Rightarrow \\quad y=h(a) \\quad (a=b+w\_1x\_1+w\_2x\_2) \\quad \\Rightarrow y=h(a)=\\begin\{cases\} & \\text\{ 0 \} \\ a\\leq 0, \\\\ & \\text\{ 1 \} \\ a> 0 \\end\{cases\}][y_h_b_w_1x_1_w_2x_2_ _quad _Rightarrow _quad y_h_a_ _quad _a_b_w_1x_1_w_2x_2_ _quad _Rightarrow y_h_a_begin_cases_ _ _text_ 0 _ _ a_leq 0_ _ _ _text_ 1 _ _ a_ 0 _end_cases]

上式中，输入信号的总和会被函数h(a)转换，转换后的值就是输出 y。然后，所表示的函数h(a)，在输入超过0时返回1，否则返回0。

### 激活函数 ###

刚才登场的h(a)函数会将输入信号的总和转换为输出信号，这种函数一般称为**激活函数**（activation function）。如“激活”一词所示，激活函数的作用在于决定如何来激活输入信号的总和。下图右侧，表示神经元的○中明确显示了激活函数的计算过程，即  
信号的加权总和为节点 ![a=b+w\_1x\_1+w\_2x\_2][a_b_w_1x_1_w_2x_2]，然后节点a被激活函数h()转换成节点y。 “神经元”和“节点”两个术语的含义相同。这里，我们称a和y为“节点”，其实它和之前所说的“神经元”含义相同。

![20181226144400803.png][]

**左图是一般的神经元的图，右图是在神经元内部明确显示激活函数的计算过程的图（a表示输入信号的总和，h()表示激活函数，y表示输出）**

**补充：****一般而言，“朴素感知机”是指单层网络，指的是激活函数使用了阶跃函数的模型。“多层感知机”是指神经网络，即使用sigmoid函数（后述）等平滑的激活函数的多层网络。**

**注：在下一个博客中，将继续了解一下[激活函数][Link 2]（阶跃函数、sigmoid函数、ReLU函数）**

[Link 1]: https://blog.csdn.net/God_68/article/details/85244659
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70]: /images/20220402/c18af0265bb34e69a5061f53e28d53d0.png
[20181226142005495.png]: /images/20220402/6a54be18256a423dbea25e8d416794a3.png
[y_begin_cases_ _ _text_ 0 _ _b_w_1x_1_w_2x_2 _leq 0_ _ _ _text_ 1 _ _b_w_1x_1_w_2x_2 _ 0_ _end_cases]: /images/20220402/e05d2ac03d1d4778805a9f2ed3073435.png
[w_1]: https://img-blog.csdnimg.cn/20181226145712381
[w_2]: /images/20220402/8b955f9bb3b742b98ce0082f4de3f773.png
[y_h_b_w_1x_1_w_2x_2_ _quad _Rightarrow _quad y_h_a_ _quad _a_b_w_1x_1_w_2x_2_ _quad _Rightarrow y_h_a_begin_cases_ _ _text_ 0 _ _ a_leq 0_ _ _ _text_ 1 _ _ a_ 0 _end_cases]: /images/20220402/19478e6e6dc84462ab915daf33ab5b4c.png
[a_b_w_1x_1_w_2x_2]: /images/20220402/0eee629876384bca941e167bc8a1b53b.png
[20181226144400803.png]: /images/20220402/1cb2c8963cdd4124892bc725273bd4af.png
[Link 2]: https://blog.csdn.net/God_68/article/details/85262255