softmax回归这个屌我竟然看懂了

Myth丶恋晨 2022-07-10 04:28 229阅读 0赞

在上一篇文章中，讲述了广义线性模型。通过详细的讲解，针对某类指数分布族建立对应的广义线性模型。在本篇文章

中，将继续来探讨广义线性模型的一个重要例子，它可以看成是Logistic回归的扩展，即**softmax回归**。

我们知道Logistic回归只能进行二分类，因为它的随机变量的取值只能是**0**或者**1**，那么如果我们面对多分类问题怎么

办？比如要将一封新收到的邮件分为垃圾邮件，个人邮件，还是工作邮件；根据病人的病情预测病人属于哪种病；对于

诸如MNIST手写数字分类（MNIST是一个手写数字识别库，相见：**[http://yann.lecun.com/exdb/mnist/][http_yann.lecun.com_exdb_mnist]**）。诸

如此类问题都涉及到多分类，那么今天要讲的softmax回归能解决这类问题。

在Logistic回归中，样本数据的值![262037441407688.png][]，而在**softmax**回归中![262038344525752.png][]，其中![262039387657703.png][]是类别种数，

比如在手写识别中![262040412332186.png][]，表示要识别的**10**个数字。设

![262047562188061.png][]

那么

![262049323271734.png][]

而且有

![262051011873453.png][]

为了将多项式模型表述成指数分布族，先引入![262059111713859.png][]，它是一个![262059483583433.png][]维的向量，那么

![262106026402254.png][]

应用于一般线性模型，![262108453908732.png][]必然是属于![262109019686634.png][]个类中的一种。用![262115312964859.png][]表示![262117420773306.png][]为真，同样当![262118060309187.png][]为假时，有

![271229272499334.png][]，那么进一步得到联合分布的概率密度函数为

![262148268129961.png][]

对比一下，可以得到

![271237313122517.png][]

由于

![271252067962551.png][]

那么最终得到

![271253061554050.png][]

可以得到期望值为

![271305580304405.png][]

接下来得到对数似然函数函数为

![271344377493752.png][]

其中![271321384219275.png][]是一个![271322106712223.png][]的矩阵，代表这![271322439837213.png][]个类的所有训练参数，每个类的参数是一个![271323452654925.png][]维的向量。所以在

softmax回归中将![271350515934172.png][]分类为类别![271351482653159.png][]的概率为

![271354349523436.png][]

跟Logistic回归一样，softmax也可以用梯度下降法或者牛顿迭代法求解，对对数似然函数求偏导数，得到

![271539522659793.png][]

然后我们可以通过梯度上升法来更新参数

![271533552652259.png][]

注意这里![271535101873604.png][]是第![271534161086158.png][]个类的所有参数，它是一个向量。

在softmax回归中直接用上述对数似然函数是不能更新参数的，因为它存在冗余的参数，通常用牛顿方法中的**Hessian**

矩阵也不可逆，是一个非凸函数，那么可以通过添加一个权重衰减项来修改代价函数，使得代价函数是凸函数，并且

得到的Hessian矩阵可逆。更多详情参考如下链接。

**链接：[http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92][http_deeplearning.stanford.edu_wiki_index.php_Softmax_E5_9B_9E_E5_BD_92]**

这里面也讲述了K个二元分类器与softmax的区别，值得学习。

**参考资料：**

**（1）[http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html][http_www.cnblogs.com_tornadomeet_archive_2013_03_22_2975978.html]**

**（2）[http://www.cnblogs.com/tornadomeet/archive/2013/03/23/2977621.html][http_www.cnblogs.com_tornadomeet_archive_2013_03_23_2977621.html]**

**（3）[http://demo.netfoucs.com/lingerlanlan/article/details/38410123][http_demo.netfoucs.com_lingerlanlan_article_details_38410123]**

**（4）[http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/][http_freemind.pluskid.org_machine-learning_softmax-vs-softmax-loss-numerical-stability]**

**（5）[http://blog.csdn.net/celerychen2009/article/details/9014797][http_blog.csdn.net_celerychen2009_article_details_9014797]**

[http_yann.lecun.com_exdb_mnist]: http://yann.lecun.com/exdb/mnist/
[262037441407688.png]: http://images.cnitblog.com/blog/571227/201412/262037441407688.png
[262038344525752.png]: http://images.cnitblog.com/blog/571227/201412/262038344525752.png
[262039387657703.png]: /images/20220709/4ad8379d1f4044df867765463212060b.png
[262040412332186.png]: /images/20220709/150c16d41448480dbc65667d8a46d6eb.png
[262047562188061.png]: /images/20220709/085bbea246c74f68bce5afc0e1f109e2.png
[262049323271734.png]: /images/20220709/b70ca1b6d5464555a441c2942b20019f.png
[262051011873453.png]: /images/20220709/4ed5cfeb08be48fd8a2e7a6fc4d8b9cf.png
[262059111713859.png]: http://images.cnitblog.com/blog/571227/201412/262059111713859.png
[262059483583433.png]: /images/20220709/3cd1fe84e05e44c2ae32390993232570.png
[262106026402254.png]: /images/20220709/3090a0fdd96e4d938e4e254dc1553fc5.png
[262108453908732.png]: http://images.cnitblog.com/blog/571227/201412/262108453908732.png
[262109019686634.png]: http://images.cnitblog.com/blog/571227/201412/262109019686634.png
[262115312964859.png]: http://images.cnitblog.com/blog/571227/201412/262115312964859.png
[262117420773306.png]: http://images.cnitblog.com/blog/571227/201412/262117420773306.png
[262118060309187.png]: /images/20220709/ea9385ab6726404e9f01353a5ec4fcac.png
[271229272499334.png]: /images/20220709/0e6c1b4f0d4d4598bd3181a536142c00.png
[262148268129961.png]: /images/20220709/24b7092ed6d640f184eea30c98d6b847.png
[271237313122517.png]: /images/20220709/e773a9d0939f417ebac6c366a590ffc9.png
[271252067962551.png]: /images/20220709/830028e71f074b5eaa68ff195d75e798.png
[271253061554050.png]: /images/20220709/b38cdf09cb954978914652221e9753e8.png
[271305580304405.png]: /images/20220709/07b4e34da38e4a4f84eb921bd4198a22.png
[271344377493752.png]: /images/20220709/9a29d8e7fff2443b998604c2982c3b81.png
[271321384219275.png]: http://images.cnitblog.com/blog/571227/201412/271321384219275.png
[271322106712223.png]: http://images.cnitblog.com/blog/571227/201412/271322106712223.png
[271322439837213.png]: http://images.cnitblog.com/blog/571227/201412/271322439837213.png
[271323452654925.png]: /images/20220709/50e66286ed6e4a70ad537ff165013bdd.png
[271350515934172.png]: http://images.cnitblog.com/blog/571227/201412/271350515934172.png
[271351482653159.png]: /images/20220709/92e2be52a1344d87b10669af0a9e4a2c.png
[271354349523436.png]: /images/20220709/96571a9416504a628d0e9eefb49f391e.png
[271539522659793.png]: /images/20220709/416e0025e79a4e80ae18de05b06b9bb3.png
[271533552652259.png]: /images/20220709/076ba0ce504f4306baecf2e4dff7a5ad.png
[271535101873604.png]: http://images.cnitblog.com/blog/571227/201412/271535101873604.png
[271534161086158.png]: /images/20220709/feb93f49b0ca45489bdf9871a967c257.png
[http_deeplearning.stanford.edu_wiki_index.php_Softmax_E5_9B_9E_E5_BD_92]: http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
[http_www.cnblogs.com_tornadomeet_archive_2013_03_22_2975978.html]: http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html
[http_www.cnblogs.com_tornadomeet_archive_2013_03_23_2977621.html]: http://www.cnblogs.com/tornadomeet/archive/2013/03/23/2977621.html
[http_demo.netfoucs.com_lingerlanlan_article_details_38410123]: http://demo.netfoucs.com/lingerlanlan/article/details/38410123
[http_freemind.pluskid.org_machine-learning_softmax-vs-softmax-loss-numerical-stability]: http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/
[http_blog.csdn.net_celerychen2009_article_details_9014797]: http://blog.csdn.net/celerychen2009/article/details/9014797