神经网络中参数权重W,偏置b的作用（入门教程）

蔚落 2023-05-28 09:47 9阅读 0赞

## 可视图讲解神经元W,b参数的作用 ##

在我们接触神经网络过程中，很容易看到就是这样一个式子，**g(Wx+b)**，其中**W,x**均为向量.比如下图所示：  
![在这里插入图片描述][20200325170814102.png]  
加入激活函数为**g(x)**，我们就可以用下面公式  
![在这里插入图片描述][20200325172119595.png]  
来表示神经元的输出。（对letex不熟，用图片代替一下吧！汗）

其中**b**为神经元的偏置.那么**W,b**这些参数的作用有没有最直观的感受呢？如果没有请接着往下看，每个神经元为什么要加上偏置**b**,不加又有什么后果呢？  
那就来一起寻找答案吧

--------------------

**下面通过二维可视化图来直观说明一下它们的作用：**

加入我们激活函数用的是sigmoid函数，它的图像如下：  
![在这里插入图片描述][20200325172542886.png]  
我们很容易看到**sigmoid**函数的作用是将输入映射到一个 **(0,1)** 的输出范围

举个例子，我们现在需要将下面三角形和圆形进行分类：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70]  
利用上面神经元训练可以得到一个直线，去线性分开这些数据点.方程如下：

![在这里插入图片描述][2020032518085997.png]  
我们就可以得到下面这条类似的直线去线性分割好俩种不同类型的数据点.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70 1]  
那么这条边界找到了.而这个边界是  
![在这里插入图片描述][2020032518085997.png]  
的方程，而  
![w1x1+w2x2+b][w1x1_w2x2_b]  
是作为激活函数sigmoid的输入处理.

--------------------

激活函数将这个输入映射到 **(0,1)** 的范围内.那么可以增加一个维度来表示激活函数的输出.

我们认为**g(x)>0.5**就为正类（这里指圆形）,**g(x)<0.5**就为负类，这里指三角形类.得到的三维图如下：第三维**z**可以看成是一种类别！（比如圆形就是 **+1** 、三角形就是 **-1** ）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70 2]  
那么就可以真正的可视化说明一下 **W，b** 等参数的作用在图中是怎么体现的~

我们从上图很容易得到，当我们将这个三维图进行投影的时候，就是我们上个用直线分割好俩类的平面图，三维图中的那个分割平面投影下来就是方程：  
![在这里插入图片描述][2020032518085997.png]

右边输出为1的部分就是说  
![在这里插入图片描述][20200325181605723.png]  
导致激活函数输出 **>0.5** ，从而分为正类（ 圆形类）,左边输出为 **-1** 的部分就是说  
![w1x1+w2x2+b<0][w1x1_w2x2_b_0]  
导致激活函数输出 **<0.5**，从而分为负类（ 三角形类）

--------------------

## 那么重点来了~ ##

## 1、W参数的作用 ##

其中**W**参数的作用，我们可以得到，是决定那个分割平面的方向所在.分割平面的投影就是直线  
![在这里插入图片描述][2020032518085997.png]

我们解释如下，在二个输入中，可以得到  
![W=\[w1,w2\]][W_w1_w2]  
令方程  
![在这里插入图片描述][2020032518085997.png]  
那么该直线的斜率就是 :  
![\*\*-w1/w2\*\*][-w1_w2]  
随着**w1,w2**的变动，直线的方向也在改变，那么分割平面的方向也在改变~

--------------------

## 2、b参数的作用 ##

其中b参数的作用，是决定竖直平面沿着垂直于直线方向移动的距离，当**b>0**的时候，直线往左边移动，当**b<0**的时候，直线往右边移动.

我们通过例子解释如下：首先我们可以肯定是直线方向不变，因为我们没有动斜率的任何参数，只是改变**b**，要说明的就是为什么当**b>0**的时候，直线往左边移动，当**b<0**的时候，直线往右边移动.

假设我们有直线方程**x1+x2-3=0**,画出这个图像如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70 3]  
此时我们将**b**减小到**0**，图像变为如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70 4]  
我们从上面图像中很容易得到结论：

当**b>0**的时候，直线往左边移动，当**b<0**的时候，直线往右边移动.

[20200325170814102.png]: /images/20230528/24d81f1de591495b838803b5b46e722d.png
[20200325172119595.png]: /images/20230528/2677fd365af347a185f6578bf9d91cc7.png
[20200325172542886.png]: /images/20230528/3a6d1466e6fc4ec39f73f9e7d9f87cfa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70]: /images/20230528/40eed61469dc47d3b4f0a09f86ca4ef2.png
[2020032518085997.png]: /images/20230528/3131bf8029ca48d6adc778d0e65705bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70 1]: /images/20230528/407e042b778c46d384062fca873ddbb2.png
[w1x1_w2x2_b]: /images/20230528/15b4bc4bddb742e5b362724bf06de87d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70 2]: /images/20230528/c9d9deeb2f524ca786dcb45ea0d1f053.png
[20200325181605723.png]: /images/20230528/9d582fba847947148f10912c09b2a108.png
[w1x1_w2x2_b_0]: /images/20230528/28cae22c9d5d403a970f49ab5c8d4aef.png
[W_w1_w2]: /images/20230528/16db14bafbf04a3e8d8343ecc9ec58de.png
[-w1_w2]: /images/20230528/31303fe314154ba2971252ccc3830845.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70 3]: /images/20230528/426bfcf1dd384d7f8a7cd3f687949619.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JOR191emlf_size_16_color_FFFFFF_t_70 4]: /images/20230528/9586d0b8864f41a29902deb8c6fcd89d.png