【机器学习】LR多分类推广 - Softmax回归整理

落日映苍穹つ 2022-06-01 11:20 343阅读 0赞

# 1.softmax #

在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。  
首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为a，反之为b。用伪码简单描述一下就是 if a > b return a; else b。  
另外一个单词为soft。max存在的一个问题是什么呢？如果将max看成一个分类问题，就是非黑即白，最后的输出是一个确定的变量。更多的时候，我们希望输出的是取到某个分类的概率，或者说，我们希望分值大的那一项被经常取到，而分值较小的那一项也有一定的概率偶尔被取到，所以我们就应用到了soft的概念，即最后的输出是每个分类被取到的概率。  
2.softmax的定义

首先给一个图，这个图比较清晰地告诉大家softmax是怎么计算的。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29uZExpZXV0ZW5hbnQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29uZExpZXV0ZW5hbnQ_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29uZExpZXV0ZW5hbnQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29uZExpZXV0ZW5hbnQ_size_16_color_FFFFFF_t_70 3][]

上面的结果表示，我们只需要正想求出yi

，将结果减1就是反向更新的梯度，导数的计算是不是非常简单！

## 4.softmax VS k个二元分类器 ##

如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是选择使用 softmax 分类器呢，还是使用 logistic 回归算法建立 k 个独立的二元分类器呢？  
这一选择取决于你的类别之间是否互斥，例如，如果你有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么你可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k = 4 的softmax回归。（如果在你的数据集中，有的歌曲不属于以上四类的其中任何一类，那么你可以添加一个“其他类”，并将类别数 k 设为5。）  
如果你的四个类别如下：人声音乐、舞曲、影视原声、流行歌曲，那么这些类别之间并不是互斥的。例如：一首歌曲可以来源于影视原声，同时也包含人声 。这种情况下，使用4个二分类的 logistic 回归分类器更为合适。这样，对于每个新的音乐作品 ，我们的算法可以分别判断它是否属于各个类别。  
现在我们来看一个计算视觉领域的例子，你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是：室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢？ (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片，你又会选择 softmax 回归还是多个 logistic 回归分类器呢？  
在第一个例子中，三个类别是互斥的，因此更适于选择softmax回归分类器 。而在第二个例子中，建立三个独立的 logistic回归分类器更加合适。

# LR多分类推广 - Softmax回归 #

LR是一个传统的二分类模型，它也可以用于多分类任务，其基本思想是：将多分类任务拆分成若干个二分类任务，然后对每个二分类任务训练一个模型，最后将多个模型的结果进行集成以获得最终的分类结果。一般来说，可以采取的拆分策略有：

### one vs one策略 ###

假设我们有N个类别，该策略基本思想就是不同类别两两之间训练一个分类器，这时我们一共会训练出![1251096-20171104175530607-1392543504.png][]种不同的分类器。在预测时，我们将样本提交给所有的分类器，一共会获得N(N-1)个结果，最终结果通过**投票**产生。

### one vs all策略 ###

该策略基本思想就是将第i种类型的所有样本作为正例，将剩下的所有样本作为负例，进行训练得到一个分类器。这样我们就一共可以得到N个分类器。在预测时，我们将样本提交给所有的分类器，一共会获得N个结果，我们**选择其中概率值最大**的那个作为最终分类结果。

# 　　 ![1251096-20171021171313943-1199609768.png][] #

##  softmax回归 ##

softmax是LR在多分类的推广。与LR一样，同属于广义线性模型。什么是Softmax函数？假设我们有一个数组A，![1251096-20171021164616881-992414484.png][]表示的是数组A中的第i个元素，那么这个元素的Softmax值就是

![1251096-20171021165228865-866731732.png][]

也就是说，是该元素的指数，与所有元素指数和的比值。那么 softmax回归模型的假设函数又是怎么样的呢？

![1251096-20171105100956795-1587348606.png][]

由上式很明显可以得出，假设函数的分母其实就是对概率分布进行了归一化，使得所有类别的概率之和为1；也可以看出LR其实就是K=2时的Softmax。在参数获得上，我们可以采用one vs all策略获得K个不同的训练数据集进行训练，进而针对每一类别都会得到一组参数向量![1251096-20171105102153701-629755133.png][]。当测试样本特征向量![1251096-20171105102416560-1451219507.png][]输入时，我们先用假设函数针对每一个类别![1251096-20171105102622045-1005416234.png][]估算出概率值![1251096-20171105102706623-369597312.png][]。因此我们的假设函数将要输出一个K维的向量（向量元素和为1）来表示K个类别的估计概率，我们选择其中得分最大的类别作为该输入的预测类别。Softmax看起来和one vs all 的LR很像，它们最大的不同在与Softmax得到的K个类别的得分和为1，而one vs all的LR并不是。

### softmax的代价函数 ###

类似于LR，其似然函数我们采用对数似然，故：

![1251096-20171105113747779-692061991.png][]

加入![1251096-20171104162333248-539020480.png][]正则项的损失函数为：

![1251096-20171105114132232-517057992.png][]

此处的![1251096-20171105110553560-1026190635.png][]为符号函数。对于其参数的求解过程，我们依然采用梯度下降法。

### softmax的梯度的求解 ###

正则化项的求导很简单，就等于![1251096-20171105120226607-495282914.png][]，下面我们主要讨论没有加正则项的损失函数的梯度求解，即

![1251096-20171105113747779-692061991.png][]

的导数（梯度）。为了使得求解过程看起来简便、易于理解，我们仅仅只对于一个样本（x,y）情况（SGD）进行讨论，

![1251096-20171105161912482-1607069737.png][]

此时，我们令

![1251096-20171105162625888-1575402902.png][]

可以得到

![1251096-20171105163457810-492161690.png][]

故：

![1251096-20171105170233232-810575386.png][]

所以，正则化之后的损失函数的梯度为

![1251096-20171105171748341-1281292385.png][]

然后通过梯度下降法最小化 ![\\textstyle J(\\theta)][textstyle J_theta]，我们就能实现一个可用的 softmax 回归模型了。

### 多分类LR与Softmax回归 ###

有了多分类的处理方法，那么我们什么时候该用多分类LR？什么时候要用softmax呢？

总的来说，若待分类的**类别互斥**，我们就使用Softmax方法；若待分类的**类别有相交**，我们则要选用多分类LR，然后投票表决。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29uZExpZXV0ZW5hbnQ_size_16_color_FFFFFF_t_70]: /images/20220601/445a8754cddd408a8abbe42a95efd706.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29uZExpZXV0ZW5hbnQ_size_16_color_FFFFFF_t_70 1]: /images/20220601/8fe9b08dd8c746cf91c64e0c3a424ed5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29uZExpZXV0ZW5hbnQ_size_16_color_FFFFFF_t_70 2]: /images/20220601/b162ba7efabe4b5cb2c4ffb1c67c0286.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29uZExpZXV0ZW5hbnQ_size_16_color_FFFFFF_t_70 3]: /images/20220601/bc67bc22d26442fc836dbff93c8f1dd9.png
[1251096-20171104175530607-1392543504.png]: /images/20220601/cb5f4da3cbfd487697cb991e26d653ce.png
[1251096-20171021171313943-1199609768.png]: /images/20220601/aa2895dd18e84994be1adfdf29328e94.png
[1251096-20171021164616881-992414484.png]: /images/20220601/c13960c18bb8444a8b96ab6f0d4e63f4.png
[1251096-20171021165228865-866731732.png]: /images/20220601/177840d5e54e472fb70273cc1e5b85b4.png
[1251096-20171105100956795-1587348606.png]: /images/20220601/8bd38d5ae2ae4dfab3427d8f6bceecd3.png
[1251096-20171105102153701-629755133.png]: https://images2017.cnblogs.com/blog/1251096/201711/1251096-20171105102153701-629755133.png
[1251096-20171105102416560-1451219507.png]: https://images2017.cnblogs.com/blog/1251096/201711/1251096-20171105102416560-1451219507.png
[1251096-20171105102622045-1005416234.png]: https://images2017.cnblogs.com/blog/1251096/201711/1251096-20171105102622045-1005416234.png
[1251096-20171105102706623-369597312.png]: /images/20220601/8c0b1e9a979b4fb195a9a38ced4f3d0e.png
[1251096-20171105113747779-692061991.png]: /images/20220601/498d145041de44ef813595e902324a2d.png
[1251096-20171104162333248-539020480.png]: /images/20220601/3c14e1a014c942be8ac2c505a528c88c.png
[1251096-20171105114132232-517057992.png]: /images/20220601/bf2084fab0cd4286bff2af7cf2c17d51.png
[1251096-20171105110553560-1026190635.png]: /images/20220601/0418596536b84cf5bef6bcf465b6aad5.png
[1251096-20171105120226607-495282914.png]: /images/20220601/55f8708a06834aeca720fe92eb296d96.png
[1251096-20171105161912482-1607069737.png]: /images/20220601/444bf2e136c346cc963634ed4dcdb7db.png
[1251096-20171105162625888-1575402902.png]: /images/20220601/6983457020b449e4acd90290a53b52ad.png
[1251096-20171105163457810-492161690.png]: /images/20220601/b057a28ff1fc4e979ccf9f85e0a5993a.png
[1251096-20171105170233232-810575386.png]: /images/20220601/907d3e423de440eb92c29aa9bbe97c3b.png
[1251096-20171105171748341-1281292385.png]: /images/20220601/1d809d8c98f346108a8358cf29e7068b.png
[textstyle J_theta]: /images/20220601/5aa66a73c0a44dfc9269f2f0cb3509c8.png