Logistic Regression分类器原理

悠悠 2022-07-08 15:29 188阅读 0赞

# [Logistic Regression分类器http://www.cnblogs.com/guyj/p/3800519.html][Logistic Regression_http_www.cnblogs.com_guyj_p_3800519.html] #

**1. 两类Logistic回归**

Logistic回归是一种非常高效的分类器。它不仅可以预测样本的类别，还可以计算出分类的概率信息。

不妨设有*n*

个训练样本  \{ *x*1,...,*x**n*\}，  *x**i*是  *d*维向量，其类别标签是  \{ *y*1,...,*y**n*\}。对于一个  *c*类问题，  *y**i*∈\{ 1,2,...,*c*\}

。Logistic回归学习这样一个函数

*f*(*x*)=*g*(*θ**T**x*)=11\+*e*−*θ**T**x*(1)

其中，

*g*(*z*)=11\+*e*−*z*(2)

被称为Logistic函数或者Sigmoid函数。

设*x*=\[*x*(1),...,*x*(*d*)\]*T*

。实际上，  *θ**T**x*这儿应该写成  *θ*0\+*θ**T**x*（  *θ*是  *d*维向量），要有个常数项。但是为了方便，我们设  *x*(0)=1，所以  *θ*0\+*θ**T**x*可以直接写作  *θ**T**x*，而此处的  *θ*是  *d*\+1维向量，即  *θ**T**x*=∑*d**j*=0*θ**j**x*(*j*)

。

可以看出来，当*z*

无穷大时，  *g*(*z*)趋于1；当  *z*无穷小时，  *g*(*z*)趋于0；当  *z*=0时，  *g*(*z*)=0.5。  *g*(*z*)的值域是  \[0,1\]，所以  *f*(*x*)的值域也是  \[0,1\]

。

首先我们考虑2

类问题，设

*P*(*y*=1|*x*,*θ*)=*f*(*x*)(3)

即对于给定的样本  *x*，其属于类别  1的概率是  *f*(*x*)。则属于类别  0的概率是

*P*(*y*=0|*x*,*θ*)=1−*f*(*x*)(4)

上述概率也可以写作

*P*(*y*|*x*,*θ*)=*f*(*x*)*y*(1−*f*(*x*))1−*y*(5)

Logistic回归具有如下的特点。一个事件发生的机率（odds）定义为事件发生的概率与不发生的概率的比值。设*p*=*P*(*y*=1|*x*,*θ*)

，那么事件的机率是  *p*1−*p*。其对数函数是

*l**o**g**p*1−*p*=*l**o**g**P*(*y*=1|*x*,*θ*)1−*P*(*y*=1|*x*,*θ*)=*θ**x*(6)

可以看出，输出类别  1的对数机率是输入  *x*

的线性函数。

此外，后验概率也可以写作如下形式：

*P*(*y*=1|*x*,*θ*)=*e**θ**T**x*1\+*e**θ**T**x**P*(*y*=0|*x*,*θ*)=11\+*e**θ**T**x*(7)

(这与下文将到的多类形式一致)

学习or训练的过程就是通过训练数据，来求解出最优的参数*θ*

。而预测的方法是计算后验概率  *P*(*y*|*x*,*θ*)，如果大于  0.5，则预测为类别  1；否则为类别  0

。

以下使用极大似然估计方法来求解参数。参数*θ*

的似然函数是：

*L*(*θ*)=∏*i*=1*n**P*(*y**i*|*x**i*,*θ*)=∏*i*=1*n**f*(*x**i*)*y**i*(1−*f*(*x**i*))1−*y**i*(8)

最大化似然函数往往比较困难，可以通过最大化对数似然函数来求解。*θ*

的对数似然函数是：

ℓ(*θ*)=log*L*(*θ*)=log∏*i*=1*n**f*(*x**i*)*y**i*(1−*f*(*x**i*))1−*y**i*=∑*i*=1*n*log*f*(*x**i*)*y**i*(1−*f*(*x**i*))1−*y**i*=∑*i*=1*n**y**i*log*f*(*x**i*)\+(1−*y**i*)log(1−*f*(*x**i*))(9)

实际上，代价函数的形式是：

*J*(*θ*)=−1*n*∑*i*=1*n**y**i*log*f*(*x**i*)\+(1−*y**i*)log(1−*f*(*x**i*))(10)

所以最小化代价函数就等价于最大化似然估计。

可以通过梯度下降法来求解*l*(*θ*)

的极大值。即

*θ*:=*θ*\+*α*∇*θ*ℓ(*θ*)(11)

∂∂*θ**j*ℓ(*θ*)=∂∂*θ**j*∑*i*=1*n**y**i*log*g*(*θ**T**x**i*)\+(1−*y**i*)log(1−*g*(*θ**T**x**i*))=∑*i*=1*n*(*y**i*1*g*(*θ**T**x**i*)−(1−*y**i*)11−*g*(*θ**T**x**i*))∂∂*θ**j**g*(*θ**T**x**i*)=∑*i*=1*n*(*y**i*1*g*(*θ**T**x**i*)−(1−*y**i*)11−*g*(*θ**T**x**i*))*g*(*θ**T**x**i*)(1−*g*(*θ**T**x**i*))∂∂*θ**j**θ**T**x**i*=∑*i*=1*n*(*y**i*(1−*g*(*θ**T**x**i*))−(1−*y**i*)*g*(*θ**T**x**i*))*x*(*j*)*i*=∑*i*=1*n*(*y**i*−*f*(*x**i*))*x*(*j*)*i*(12)

*x*(*j*)*i*是第  *i*个样本的第  *j*

个特征。

所以，对于参数*θ*

向量中的任一元素  *θ**j*，迭代方式如下:

*θ**j*:=*θ**j*\+*α*∑*i*=1*n*(*y**i*−*f*(*x**i*))*x*(*j*)*i*(13)

如此，便可将全部参数求解出来。

此外，Logistic回归的求解也可以采用Newton迭代法等。

**2. 正则化**  
在机器学习中，正则化是非常常用的方法。它用来约束模型的参数，使得求解出来的参数不会太大（模型不能过于复杂），以防止过拟合。

Logistic回归经常加入ℓ1

正则或者  ℓ2正则。参数求解的问题转变为：

argmax*θ*ℓ(*θ*)−*α*∥*θ*∥2(14)

**3. 多类情况**

%可以换一种角度来理解Logistic回归。一个事件发生与不发生的比值被称为机率（odds）。假设发生的概率是*p*

，那么发生的几率是  *p*/(1−*p*)

。几率越大，发生的可能性越大。

面向多类分类问题的Logistic回归，也叫softmax regression。假设是一个*c*

类问题，则类别标签  *y**i*∈\{ 1,...,*c*\}。 使用one-vs-all策略可以将两类分类器扩展为多类分类器，即将选取任意一类，再将其它所有类看成是一类，构建一个两类分类器，这样一共需要  *c*

个分类器。

定义

*P*(*y*=1|*x*)*P*(*y*=2|*x*)*P*(*y*=*c*|*x*)=*e**θ**T*1*x*∑*c**k*=1*e**θ**T**k**x*=*e**θ**T*2*x*∑*c**k*=1*e**θ**T**k**x*...=*e**θ**T**c**x*∑*c**k*=1*e**θ**T**k**x*(15)

该模型有这样一个性质，对于所有参数*θ**i*

，加上一个向量  *v*，后验概率的值不变。即

*e*(*θ*1\+*v*)*T**x*∑*c**k*=1*e*(*θ**k*\+*v*)*T**x*=*e**θ**T*1*x*\+*v**T**x*∑*c**k*=1*e**θ**T**k**x*\+*v**T**x*=*e**θ**T*1*x**e**v**T**x*∑*c**k*=1*e**θ**T**k**x**e**v**T**x*=*e**θ**T*1*x*∑*c**k*=1*e**θ**T**k**x*(16)

我们设*v*=*θ**c*

, 则新的参数为

*θ*1=*θ*1−*θ**c*...*θ**c*−1=*θ**c*−1−*θ**c**θ**c*=0(17)

则多类Logistic回归模型可写作

*P*(*y*=1|*x*)*P*(*y*=*c*−1|*x*)*P*(*y*=*c*|*x*)=*e**θ**T*1*x*1\+∑*c*−1*k*=1*e**θ**T**k**x*...=*e**θ**T**c*−1*x*1\+∑*c*−1*k*=1*e**θ**T**k**x*=11\+∑*c*−1*k*=1*e**θ**T**k**x*(18)

加入正则项后的代价函数可以表述为

*J*(*θ*)=−1*m*(∑*i*=1*n*∑*k*=1*c*1\{ *y**i*=*k*\}*l**o**g**θ**k**x**i*∑*c**l*=1*θ**T**l**x**i*)(19)

其中，  1\{ *y**i*=*k*\}是指示函数，若  *y**i*=*k*为真，则等于  1，否则等于  0

。

对于参数的求解，与两类问题的求解方法一样。

[Logistic Regression_http_www.cnblogs.com_guyj_p_3800519.html]: http://www.cnblogs.com/guyj/p/3800519.html