logistic回归（一）:logistic原理及推导

心已赠人 2022-01-31 12:29 962阅读 0赞

一、广义线性回归  
1、什么是广义线性回归  
![在这里插入图片描述][20190922132041997.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70]  
二、logistic回归  
当我们的因变量使分类变量的时候，我们可以采取logistic回归，在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；区别一个肿瘤是恶性的还是良性的。  
我们从二元的分类问题开始讨论。  
我们将因变量(dependant variable)可能属于的两个类分别称为负向类（negative class）和 正向类（positive class），则因变量 y属于\{0,1\}，其中 0 表示负向类，1 表示正向类。  
我们的假设函数 h θ ( x ) = θ T X h\_\\theta(x)=\\theta^TX hθ(x)=θTX是一个输出值位于 （ − ∞ , + ∞ ） （-\\infty,+\\infty） （−∞,\+∞）的值，但是我们希望将其转化为分类的值，这个就要转换为概率，如果输出的值概率等于1的概率大于0.5则是1，如果输出概率小于0.5则是0。  
我们将这个值转换成为概率的函数叫做逻辑函数g，其中  
 g ( z ) = ( 1 ) 1 + e − z g(z)=\{(1)\\over 1+e^\{-z\}\} g(z)=1\+e−z(1)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 2]  
根据上面绘制出的 S 形函数图像，我们知道当  
z=0 时 g(z)=0.5  
z>0 时 g(z)>0.5  
z<0 时 g(z)<0.5  
又 z = θ T X z=θ^TX z=θTX，即：  
 θ T X θ^TX θTX 大于等于 0 时，预测 y=1  
 θ T X θ^TX θTX 小于 0 时，预测 y=0

g(z)求导为  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 3]  
所以 g ( z ) ‘ = g ( z ) ∗ （ 1 − g ( z ) ） g(z)\`=g(z)\*（1-g(z)） g(z)‘=g(z)∗（1−g(z)）  
**2、Logistic回归及似然函数**  
对于给定的数据集T=\{(x1,y1),(x2,y2),(x3,y3)…(xn,yn)\}，那么通过线性回归 w T x + b w^\{T\}x+b wTx\+b得到的值是位于负无穷到正无穷之间的，而我们需要计算概率，所以利用g(z)函数将其转化为（0,1）之间的数。下面计算y=1和y=0时的值  
1、李航书上的推导：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 4]  
设y为样本是正例时得到的概率，则 g ( y ( 1 − y ) ) = w T x + b g(\\frac y \{(1-y)\})=w^Tx+b g((1−y)y)=wTx\+b,所以logit回归也相当于广义线性回归。设 p ( y = 1 ∣ x ) = e x p ( w T x + B ) 1 + e x p ( w T x + B ) p(y=1|x)=\\frac \{exp(w^Tx+B)\}\{1+exp(w^Tx+B)\} p(y=1∣x)=1\+exp(wTx\+B)exp(wTx\+B)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 5]  
对上述式子中θ求导，结果和下面是一致的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 6]  
2、利用梯度下降求得偏导  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 7]  
其中p(y|x;θ)为单个样本的概率，那么下面是求得所有样本的概率的似然函数，这时我们要求这个极大似然函数的最大值，则需要对这个对数似然函数求导  
接着再使用梯度下降的方法，求得其最大值  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 8]  
2、代价函数与交叉熵代价函数  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 10]  
可以看出logistic的损失函数，是极大似然估计的值。同样我们对logistic模型的参数θ进行求解时也可以用梯度下降的方法。  
3、θ的求解，同样这里我们可以采用梯度下降的方法去进行迭代，下降的方式便是我们上面求出来的求导公式。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 11]  
当然这里也可以采用矩阵的方式去写：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 12]  
下面是机器学习的代码分析：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 13]  
极大似然估计和logistic的损失函数  
logistic的系数解释。  
 l o g ( p ( Y = 1 ∣ X ) 1 − P ( Y = 1 ∣ X ) ) = θ x log(\{p(Y=1|X)\\over 1-P(Y=1|X)\})=θx log(1−P(Y=1∣X)p(Y=1∣X))=θx  
所以logistic得线性函数其实求得是一个优势比的变化，这个优势比与 e θ i e^\{θ\_i\} eθi成正比。

二、多分类样本softmax回归  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 14]  
例如：对于一个新的样本，softmax回归模型对于每一类都先计算出一个分数，然后通过softmax函数得出一个概率值，根据最终的概率值来确定属于哪一类。  
logistic判断的是类别1的概率是多少，但是softMax得出的是第k个类别的概率是多少。即y会得出很多概率值（一个概率向量）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 15]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 16]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 17]  
和logistic回归一样，我们需要对所属类别有一个较高的概率输出，而对于其他类别的概率输出则较低，同样，我们通过损失函数来进行求取权重参数。如下：  
![在这里插入图片描述][20190922211019525.png]  
上式中i表示第i个样本，而k表示第k个类别， y k i y\_k^\{i\} yki代表k个类别的表示（比如y=0,1,2,3,而 p k i p\_\{k\}^\{i\} pki代表第i个样本的是k个类别的概率。

求解还是利用梯度下降，这里不用了解。

[20190922132041997.png]: /images/20220131/a845ca894bbf4da89036e4912f7a8b4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70]: /images/20220131/201657d5d19f43669558838c24293ed3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 1]: /images/20220131/1fa488e38cbf457082c9be05e82ce0af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 2]: /images/20220131/5117ad8948e94896a726583eb4012103.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 3]: /images/20220131/657ace8d85c34d62a36366d9734d48c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 4]: /images/20220131/a919a1ca23de4ef28bdd6167b9ba32f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 5]: /images/20220131/061fdc7b61894e03a3d9784295d0a1cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 6]: /images/20220131/9b4c348f8ec74fa4b54cb7586125857a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 7]: /images/20220131/23089fe1819446f4bd4af385351ad9a2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 8]: /images/20220131/bf4117319f2c43899c46be1ebed767b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 9]: /images/20220131/3140159290504d9b9dc35e8e66d80f1a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 10]: /images/20220131/2cbf64957693422eab91715da1449f25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 11]: /images/20220131/ca66d27cbca343d1b4a0d18039403839.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 12]: /images/20220131/0157d79479824df5bb982d87fb055038.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 13]: /images/20220131/5f7e7db53e834f4087aedb6b8668b530.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 14]: /images/20220131/32f203f3744840c588e05de6f85c5755.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 15]: /images/20220131/5b7d70cac75b4a2998c3dd011625643e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 16]: /images/20220131/632db1b09b5a4d37b2a873b8db114f07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70 17]: /images/20220131/79f85c90034947159c61b5d184e4d019.png
[20190922211019525.png]: /images/20220131/ad787d0b3b5c4f4da4d0df4b960a9655.png