机器学习2 分类与逻辑回归

今天药忘吃喽~ 2022-05-18 11:09 320阅读 0赞

分类问题和线性回归问题很像，只是在分类问题中我们预测的 y  y  值包含在一个小的离散数据集里。首先，认识一下二元分类(binary classification)，在二元分类中，y y 的取值只能是 0 和 1。例如，我们要做一个垃圾邮件分类器，则 x(i)  x ( i )  为邮件的特征，而对于 y  y ，当它为1，则为垃圾邮件，为0 则表示邮件为正常邮件。所以 0 称之为负类（negative class），1为正类（positive class） 。

### 逻辑回归 ###

我们知道线性回归问题只能预测连续的值，而分类问题，往往是分成几个类，或者是某一类（y=1 y = 1），不是某一类（y=0  y = 0 ）。对于后者，若已知 y∈\{ 0,1\}  y ∈ \{ 0 , 1 \}  ，则 hθ(x)  h θ ( x )  大于1，或者小于0都是没有意义的。To fix this，我们选择：

hθ(x)=g(θTx)=11\+eθTx  h θ ( x ) = g ( θ T x ) = 1 1 + e θ T x

g(z)=11\+ez  g ( z ) = 1 1 + e z

g(z)  g ( z )  是逻辑函数，或者叫==sigmoid函数== ，如下图所示。

![这里写图片描述][70]

虽然其他平滑函数，只要能使 hθ(x)  h θ ( x )  的值限制到 \[0,1\] 也是可以的，其实选择sigmoid函数是很自然的，具体将在 讲[GLM][] 算法的时候讲。

g(z)  g ( z )  的导数有个很重要的属性：

g(z)′====ddz11\+eze−z(1\+e−z)211\+e−z−1(1\+e−z)2g(z)\[1−g(z)\](119)(120)(121)(122)  (119) g ( z ) ′ = d d z 1 1 + e z (120) = e − z ( 1 + e − z ) 2 (121) = 1 1 + e − z − 1 ( 1 + e − z ) 2 (122) = g ( z ) \[ 1 − g ( z ) \]

那么，给定逻辑回归模型，我们如何拟合出合适的  θ  θ  ? 根据由最大似然估计得到 [LSR][]，我们赋予分类模型一组概率假设，然后通过最大似然函数得到合适的参数。

p(y=1|x;θ)p(y=0|x;θ)==hθ(x)1−hθ(x)(123)(124)  (123) p ( y = 1 | x ; θ ) = h θ ( x ) (124) p ( y = 0 | x ; θ ) = 1 − h θ ( x )

合并起来可以写成下面的形式：

p(y|x;θ)=(hθ(x))y(1−hθ(x))1−y  p ( y | x ; θ ) = ( h θ ( x ) ) y ( 1 − h θ ( x ) ) 1 − y

假设  m  m  个训练样本是独立的，则参数的似然函数如下：

L(θ)===p(y⃗ |X;θ)∏i=1mp(y(i)|x(i);θ)∏i=1m(hθ(x(i)))y(i)(1−hθ(x(i)))1−y(i)(125)(126)(127) (125)L ( θ )=p (y →|X ; θ )(126)=∏i = 1mp (y( i )|x( i ); θ )(127)=∏i = 1m(hθ(x( i )))y( i )( 1 −hθ(x( i )))1 −y( i )

ℓ(θ)==lnL(θ)∑i=1m\[y(i)lnhθ(x(i))\+(1−y(i))ln(1−hθ(x(i)))\](31)(32)  (31) ℓ ( θ ) = l n L ( θ ) (32) = ∑ i = 1 m \[ y ( i ) l n h θ ( x ( i ) ) + ( 1 − y ( i ) ) l n ( 1 − h θ ( x ( i ) ) ) \]

最大化似然函数的方法有两种。一种和线性回的推导相似，梯度上升的方法；另一种是牛顿法。

#### （1）梯度上升法 ####

用向量来表示的话 ，我们可以用下式来更新参数：

θ:=θ\+α∇θℓ(θ)  θ := θ + α ∇ θ ℓ ( θ )

需要注意的是，这里是 + 不是 - ，因为是最大化似然函数。下面先假设只有一个训练样本  (x,y)  ( x , y )  ，使用随机梯度上升规则。

∂ℓ(θ)∂θj=====∂∂θj\[ylnhθ(x)\+(1−y)ln(1−hθ(x))\]\[y1hθ(x)−(1−y)11−hθ(x)\]∂hθ(x)∂θj\[y1g(θTx)−(1−y)11−g(θTx)\]g(θTx)(1−g(θTx))∂θTx∂θj(y(1−g(θTx))−(1−y)g(θTx))xj(y−hθ(x))xj(33)(34)(35)(36)(37)  (33) ∂ ℓ ( θ ) ∂ θ j = ∂ ∂ θ j \[ y l n h θ ( x ) + ( 1 − y ) l n ( 1 − h θ ( x ) ) \] (34) = \[ y 1 h θ ( x ) − ( 1 − y ) 1 1 − h θ ( x ) \] ∂ h θ ( x ) ∂ θ j (35) = \[ y 1 g ( θ T x ) − ( 1 − y ) 1 1 − g ( θ T x ) \] g ( θ T x ) ( 1 − g ( θ T x ) ) ∂ θ T x ∂ θ j (36) = ( y ( 1 − g ( θ T x ) ) − ( 1 − y ) g ( θ T x ) ) x j (37) = ( y − h θ ( x ) ) x j

⇒θ:=θ\+α(y−hθ(x))xj  ⇒ θ := θ + α ( y − h θ ( x ) ) x j

如果我们将其与LMS更新规则进行比较，我们会发现它看起来差不多; 但这不是相同的算法，因为 hθ(x(i))  h θ ( x ( i ) )  现在被定义为 θTx(i)  θ T x ( i )  的非线性函数。 尽管如此，我们最终得到了相同的更新规则以获得相当不同的算法和学习问题。这是巧合吗，具体原因请移步[GLM Model][GLM]。

#### （112  1 2 ）插叙：感知学习算法 ####

我们现在离题谈论一个具有一定历史意义的算法， 考虑修改逻辑回归的方法以“强制”它输出0或1或精确值。 要做到这一点，将 g  g  的定义更改为阈值函数似乎很自然：

g(z)=\{10(ifz≥0)(ifz<0) g ( z ) =\{1( i fz ≥ 0 )0( i fz < 0 )

同样，令  hθ(x)=g(θTx)  h θ ( x ) = g ( θ T x )  ，  g  g  的定义如上式（22），同样用更新规则：

θ:=θ\+α(y−hθ(x))xj θ := θ \+ α ( y −hθ( x ) )x j ，这样便得到了==感知学习算法== （perceptron learning algorithm）

在20世纪60年代，这种“感知机”被认为是解释大脑中各个神经元如何工作的粗略模型。尽管感知器可能在美学上与我们所讨论的其他算法相似，但它实际上是一种非常不同类型的算法，而不是逻辑回归和LSR。

#### （2）牛顿法 ####

回到逻辑回归，另一种最大化似然函数的方法是==牛顿法== (Newton’s method)。

牛顿法的核心思想是找 0。假设有函数 f:R↦R  f : R ↦ R  . 我们要找到一个 θ  θ  使得 f(θ)=0  f ( θ ) = 0  成立，θ∈R  θ ∈ R ，是一个实数。此时牛顿法的更新规则如下：

θ:=θ−f(θ)f′(θ)  θ := θ − f ( θ ) f ′ ( θ )

这种方法有一个自然的解释，我们可以把它看作是通过线性函数逼近函数  f  f  ，线性函数在当前猜测  θ θ 处与  f  f  相切，求解线性函数等于零的位置，并让  θ θ 的下一个猜测  θ  θ  成为线性函数为零的地方。下面是牛顿法的图解：

![这里写图片描述][70 1]

牛顿方法给出了一种获得 f(θ)=0  f ( θ ) = 0  的方法。如果我们想用它来最大化函数 ℓ  ℓ  该怎么办呢？函数 ℓ  ℓ  的最大值对应其一阶导数 ℓ′  ℓ ′ 为零的点。 因此，可以令

f(θ)=ℓ′(θ)  f ( θ ) = ℓ ′ ( θ )  。我们同样用更新规则的方式最大化 ℓ  ℓ  ：

θ:=θ−ℓ′(θ)ℓ′′(θ)  θ := θ − ℓ ′ ( θ ) ℓ ″ ( θ )

最后，在我们的逻辑回归数据中，  θ  θ  是向量，因此我们需要将牛顿方法推广到这些数据上。 牛顿法对这种多维数据的推广（称为==Newton-Raphson法==）由下式给出：

θ:=θ−H−1∇θℓ(θ)  θ := θ − H − 1 ∇ θ ℓ ( θ )

H  H  是  n×n n × n 的矩阵（实际上，如果加上截距项，则大小为  (n\+1)×(n\+1)  ( n + 1 ) × ( n + 1 )  ）。  H  H  called ==Hessian== , 它的项的形式如下：

Hij=∂2ℓ(θ)∂θi∂θj Hi j=∂ 2ℓ ( θ )∂θ i∂θ j

牛顿法通常比 (batch) gradient descent更快收敛，并且需要更少的迭代次数就能达到非常接近最小值。 然而，牛顿法的一次迭代可能比一次梯度下降迭代代价更昂贵，因为它需要找到一个  n×n  n × n  的Hessian矩阵，并求逆。但只要  n  n  不是太大，整体通常要快得多。牛顿方法用于最大化逻辑回归对数似然函数  ℓ(θ) ℓ ( θ ) 时，称为Fisher scoring 。

[分类和逻辑回归(Classification and logistic regression)][Classification and logistic regression]  
[斯坦福机器学习课程Lecture 1（cs229-notes1）][Lecture 1_cs229-notes1]

[70]: /images/20220518/15024a032ecc46c3881549fe7c9d4219.png
[GLM]: https://blog.csdn.net/xyxc202/article/details/81627033
[LSR]: https://blog.csdn.net/xyxc202/article/details/81335706
[70 1]: /images/20220518/b61cc7df048f4e34aa946666665a5f18.png
[Classification and logistic regression]: https://www.cnblogs.com/czdbest/p/5768467.html
[Lecture 1_cs229-notes1]: http://cs229.stanford.edu/syllabus.html