神经网络-多分类逻辑斯蒂回归模型

墨蓝 2022-11-11 13:18 288阅读 0赞

# 下面的内容只是为了帮助理解其思想方法，实际应用中，神经网络原理是极其复杂的 #

# 目录： #

## ①认识最简单的神经网络结构 ##

## ②认识二分类的逻辑斯蒂回归模型 ##

## ③认识多分类的逻辑斯蒂回归模型以及其实现图像分类的原理 ##

### 1、聊一聊最简单的神经网络结构 ###

神经元可以理解为一个函数，相当于一个黑盒，我向这个函数输入数据，通过这个函数进行一系列的算法去运算，输出一个结果。

（1）这幅图里边，x1,x2,x3 表示同时输入3个值，因为只有一个神经元，所以只有一个输出，在图上，看似蓝色和粉色的是两个大神经元，其实就是一个神经元，只是分开来更好理解

（2）W\*x中的W矩阵，称之为权重矩阵，W矩阵与 x1,x2,x3构成的x矩阵相乘，例如 W矩阵：\[w1, w2, w3\] , x矩阵\[x1, x2, x3\]，W\*x就等于 w1\*x1 + w2\*x2 + w3\*x3

（3）h(W\*x) 表示一个激活函数，我们选一个sigmoid激活函数吧，表达式是   ![h(x) = \\tfrac\{1\}\{1+e^\{-x\}\}][h_x_ _ _tfrac_1_1_e_-x]  ，意思是说，把 w1\*x1 + w2\*x2 + w3\*x3得出的结果 当做自变量x代入 h(x) 这个激活函数中

（4）先不管这么多这个东东有啥用，是什么鬼，先照着葫芦画瓢

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 1][]

ForExample：举个生活中的例子吧，综合房屋面积，房屋价格，社区评分，判断这个房子该不该买，实际情况下，可能会有一些小细节的处理，例如这个房屋价格，越高应该反而会削减顾客的购买欲望，可能以倒数的形式来表示这个房屋的面积。

假设一个富人，对钱没兴趣，所以在权重矩阵里边，房屋价格的权重就会很低，只有0.17，这个富人对生活体验的要求非常高，房屋面积一定要大，社区评分必须要高，这些参数，在这个富人的心目中是很重要的，所以权重很高，分别达到了0.87和0.95 。

如果向这个富人推荐一个房屋面积很小，社区评分又很差的房子，价格一般般，那么w\*x的值就会特别小，代入激活函数，值也就很小，那就不应该买这个房子了。

如果向这个富人推荐一个房屋面积很大，社区评分又特别高，房屋价格高一点没关系，因为权重小，房屋价格不会严重影响这个w\*x的值，所以，这时候，这个房子就值得购买了

x = \[房屋面积，1/房屋价格\*50，社区评分\]

x = \[100, (1/100)\*50, 92\]

w = \[0.87, 0.17, 0.95\]

### 2、二分类的逻辑斯蒂回归模型 ###

还是以上面那个单神经元模型来说。

（1）通过输入x1，x2，x3

（2）然后经过神经元的处理，计算w1\*x2 + w2\*x2 + w3\*x3的值

（3）把计算结果代入sigmoid函数，sigmoid函数如下图

（4）得出一个输出，这个输出就是判断某一个分类的概率

### 举个例子： ###

### 假设，让这个神经网络去判断一个学生是不是好学生。 ###

我们设x1表示学生的成绩、x2表示学生的体能、x3表示这个学生玩游戏厉不厉害，

w1表示老师对此学生的x1成绩的支持程度，w2表示老师对此学生x2的支持程度，w3表示老师对此学生x3的支持程度，如果w权重是小于0的，表示老师对此学生的某个品质持反对态度，否则持支持态度。

小明的品质：x = \[3, 2, 4\]

小明的老师：w = \[2, 1, -5\]

小明的老师以 w权重的标准去评价小明是不是好学生，可见，小明的老师对小明打游戏这个行为是嫉恶如仇的，其实小明学习还不错，绩点3.0，体能也不错及格2.0，打撸啊撸玩吃鸡就牛逼了，上4.0的战绩了。

那么老师对小明的评价是： 3\*2 + 2\*1 + 4\*(-5) = -12

代入sigmoid函数以后，f(x) = 1 / (1 + e^12) ，显然，f(x)的值是很小的，肯定小于0.5了，那么小明有很小的概率被老师评价为好学生

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 2][]

### 3、认识多分类的逻辑斯蒂回归模型以及其实现图像分类的原理 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 3][]

直接看公式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 4][]

（1）其中大K表示分类的种类数量，上图是两个神经元，那么就有3种分类，0类、1类、2类，则K = 3

（2）小k表示第几类，k=0表示第0类，k=1表示第1类以此类推

（3）注意求和符号上面那个是大K - 1，不要看成小k了

（4）这两个式子的分母都是一个定值

（5）大Y是指通过w1\*x1 + w2\*x2 + .... + wn\*xn 的计算结果，例如Y = \[y0, y1, y2, y3\] 假设这里有分4类，这个矩阵就表示输入一次x1,x2,.....xn的数据，跟第0类特征矩阵wk0相乘得到y0，然后跟第1类特征矩阵wk1相乘得到y1以此类推

（6）P(Y=2|x) 表示第2类的概率有多大

（7）注意，当一个小k代入进去以后，这不是有个e^-wx 这样的东东吗？注意这里的w的下标k跟第(5)的w1\*x1 + w2\*x2 + .... + wn\*xn不是同一个东东，这里的下标k是指第k类的测试数据 yk ： w1\*x1 + w2\*x2 + .... + wn\*xn，也就是第k个w1\*x1 + w2\*x2 + .... + wn\*xn，这个意思，x1,x2,x3....都一样,都是同一个输入，分别跟(K-1)个\[w1,w2,w3....\]权重矩阵相乘，得出y0,y1,.......。大T就表示w矩阵的转置。例如k=0表示猫，那么我们就把一张猫的图片作为测试数据给这个神经网络去分类，但是这个神经网络只能输出识别为猫的概率，不能直接判断就是猫

### 举个例子： ###

我们现在要让这个神经网络去识别一个字母，分类它是字母X还是字母U还是其他字母。我们定义字母X为0类，字母U为1类，其它字母归为2类。

我们的图片只有5x5这么大，只有黑白两种颜色，黑色表示1，白色表示0

下面有4张图片给神经网络识别

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 5][]

【这些特征矩阵分别用来匹配字母X和匹配字母U的图片】

【一下两个矩阵其实不一定是1和0，这里只是为了方便计算，这些值可能被tensorflow自动调整，实际应用场景中取值一般在-1到1，我们目前先这么理解：越希望出现黑色的像素点，设置的值越大，不希望出现黑色的像素点设置为更小的值】

识别为字母X的特征的权重矩阵： wk0 = \[1,0,0,0,1,0,1,0,1,0,0,0,1,0,0,0,1,0,1,0,1,0,0,0,1\]

识别为字母U的特征的权重矩阵： wk1 = \[1,0,0,0,1,1,0,0,0,1,1,0,0,0,1,1,0,0,0,1,1,1,1,1,1\]

但是在实际应用中，这些权重矩阵会被tensorflow自动调节参数。

第一张图片是字母X

可以表示输入 x\_0 = \[1,0,0,0,1,0,1,0,1,0,0,0,1,0,0,0,1,0,1,0,1,0,0,0,1\]

第二张图片是字母U

可以表示输入 x\_1 = \[1,0,0,0,1,1,0,0,0,1,1,0,0,0,1,1,0,0,0,1,1,1,1,1,1\]

第三张图片也是字母U，只是写的没那么漂亮而已

可以表示输入x\_2 = \[0,1,0,0,1,1,0,0,0,1,1,0,0,0,1,1,0,0,0,1,1,1,1,1,0\]

第四张图片就是其它不知怎么乱七八糟了，很可能被识别为其它字母

可以表示输入x\_3 = \[0,0,0,1,0,0,1,1,0,0,0,0,1,1,0,0,0,0,1,0,0,0,0,0,0\]

### ①当你使用x\_0矩阵去输入数据的时候，去和“用来匹配字母X的特征矩阵wk0”做乘积，你会发现得出的输出很大，把输出的值通过激活函数处理，就会得出一个很大的概率，这个图片就很有可能是字母X ###

### ②当你使用x\_0矩阵去输入数据的时候，去和"用来匹配字母U的特征矩阵wk1"做乘积，你会发现得出的输出很小，把输出的值通过激活函数处理，就会得出一个较小的概率，这个图片就不太可能是字母U ###

### ③当你使用x\_3矩阵去输入数据的时候（第4张乱七八糟的图片），去和“用来匹配字母U的特征矩阵wk1"做乘积”，你会发现得出的输出是0，意思一个像素点都不匹配，通过激活函数处理，就会得出一个非常小的概率值，这个图片就几乎不可能是字母U ###

### 尝试计算： ###

那么呢，我们按照神经元的模型去计算一下w\*x

首先我们来识别第一张图片(输入第一张图片的数据，就会有3个输出)：

激活函数有很多种，可以选一个适合的激活函数即可，但是在真实的应用场景中可能比我们想象的复杂很多很多，这里只是举个例子。

我们希望，这个输出的值越大，概率就越大，并且概率值的结果要稍微靠谱一些，那么，我们把y0 = -y0/(y0+y1) , y1 = -y1/(y0+y1)作为第一次激活函数，sigmoid作为再一次的激活函数。

注意的是：实际应用中，激活函数不是乱选的，这里选随意选个激活函数是为了方便计算，计算得来相对看起来舒服一些的概率

y0 = x\_0 \* wk0 = 9

y1 = x\_0 \* wk1 = 4

通过第一次激活函数以后：

y0 = - 9

y1 = - 4/13

Y = \[y0, y1\] = \[- 9/13, - 4/13\]

第二次激活函数：

依照下面式子，算概率，其实式子中的e^-w\*x , w\*x就是y0,y1这些东东

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 4][]

分母是不变的，先算分母：1 + e^-y0 +e^-y1 + e^-y2  =  1 + e^(9/13) +e^(4/13) = 4.36

P(Y=0|x) = e^(9/13) / 4.36 = 0.458

P(Y=1|x) = e^(4/13) / 4.36 = 0.312

P(Y=2|x) = 1 - 0.458 - 0.312 = 0.23

显然，当输入为第一张图片的时候，分别与字母X的特征矩阵、字母U的特征矩阵、其它字母的特征矩阵做乘积

得到的概率分别是：识别为0类即该图为字母X的概率是0.458 ，字母U的概率是0.312，其它字母的概率是0.23，那么该神经网络就会识别为该图片为0类，识别为字母X。

如果，输入的是第4张图片的数据，再次按照上面的激活函数以及权重矩阵去计算的话，得出的结果是错的，那么这时候，就要重新选择激活函数，或者调节权重矩阵的值，tensorflow深度学习框架会自动帮我们调节权重矩阵，不再是0101了，可能是-1到1的一些小数，人为也可以去设置激活函数，让神经网络训练效果更好

[h_x_ _ _tfrac_1_1_e_-x]: https://private.codecogs.com/gif.latex?h%28x%29%20%3D%20%5Ctfrac%7B1%7D%7B1&plus;e%5E%7B-x%7D%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210320164411231.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210320172355758.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210320205738552.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210320212331520.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210320214528582.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/202103202207148.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hlb25fQ0M=,size_16,color_FFFFFF,t_70