逻辑回归

红太狼 2021-12-11 23:45 495阅读 0赞

# 1.定义 #

逻辑回归属于一种分类算法，因变量为分类变量。

# 2.假设函数 #

通常令假设函数（此处为一个非线性假设）为（无非就是套在了激励函数里面了）：

![881152-20190422194712959-1041166958.png][]

其中该假设函数的输出结果为：y=1的概率值

等价的，可以用新符号来表示，将拦截项专门拿出来，此时参数和x都没有1这一项了：

![881152-20190511222440781-1700380538.png][]

# 3.决策边界（decision boundary） #

它是假设函数的一个属性，令通过决策边界可以直观的看出，若样本在什么位置，就能预测出这个样本对应的预测值是多少了。

若h(x) = sigmoid( -3 + x1 +x2 ) , 且当h(x)>0.5时，就做出决策y=1,反之。

则：-3 + x1 +x2 > 0 ，则 y =1 ,反之。因此 -3 + x1 +x2 = 0是h(x)的决策边界。对应的图为：

![881152-20190422211438726-1735612638.png][]

在逻辑回归问题当中，若特征有2种，采用二次多项式进行拟合：

则设定假设函数（其中g(x) = sigmoid(x) ）：

![881152-20190422212406885-425373932.png][]

注意：计算时，就把x1转为原来的x1,x2...x2,x1^2转为x3,x^2转为x4，然后按之前的线性假设函数算就好了。即把非线性拟合转为线性拟合问题。

假定已经知道了参数（本来是求出来的）：

![881152-20190422212652595-2130955249.png][]

则有：

![881152-20190422212751323-491810693.png][]

则 x1^2 + x2^2 = 1 是h(x)的决策边界，见下图：

![881152-20190422213340816-119578575.png][]

#  4、代价函数（无正则项的） #

此时用交叉熵代价函数而不用均方误差代价函数的原因：

当h(x) = sigmoid (θ’\*x)时，代价函数是非凸函数，例如：

![881152-20190422214534512-898287593.png][]

这里有很多局部最优解，会导致梯度下架算法无法收敛到全局最优。

交叉熵代价函数会很好地避开这一点，且它的物理意义符合预期，即若标签值y为1，则h(x) =0 的代价就很大，反之。

若 y = 0 or 1 ,则定义交叉熵代价函数如下：

![881152-20190422220023522-1122015982.png][]

等价于：

![881152-20190423100152137-353358349.png][]

此代价函数等价的矩阵表示：

![881152-20190426173248266-163705498.jpg][]

# 5、更新参数θ（无正则项的） #

逻辑回归的梯度下降法公式：

![881152-20190423103041633-953061216.png][]

其等价的矩阵形式只需要稍微修改一下线性回归的假设函数即可。

**证明：**

![881152-20190423103216206-1168737176.png][]

=》

![881152-20190423103234865-1193250430.png][]

证闭。

**更换符号的等价表示：（对下图的计算要迭代很多次，再加个for循环）**

![881152-20190517195204002-588805358.png][]

其中：计算Z的第一式子的b:

![881152-20190517200422623-654373898.jpg][]

计算Z的第二式子的b是一个实数，但python会把这个实数广播为上图的形式。

![881152-20190517200538602-907564149.jpg][]

![881152-20190517200545901-1557216709.jpg][]

![881152-20190517200602979-1265112002.jpg][]

转载于:https://www.cnblogs.com/pjishu/p/10747569.html

[881152-20190422194712959-1041166958.png]: /images/20211211/a777ca3a454343bf8962b53b68a7beac.png
[881152-20190511222440781-1700380538.png]: /images/20211211/3b42db111d6f4e6b854a7170a9e09940.png
[881152-20190422211438726-1735612638.png]: /images/20211211/af502af7b2b84945a648812852e002d7.png
[881152-20190422212406885-425373932.png]: /images/20211211/c3ae503070f548d19f5c7a96cd2f0f2a.png
[881152-20190422212652595-2130955249.png]: /images/20211211/3068c9edae2943b1a5bfa3da2b8c7b31.png
[881152-20190422212751323-491810693.png]: /images/20211211/127a93e9ec8a4c20a91315266dd16740.png
[881152-20190422213340816-119578575.png]: /images/20211211/72e36062a6544559898e6cc5944bfe05.png
[881152-20190422214534512-898287593.png]: /images/20211211/4f75d3aa8de34c349fae124666c589aa.png
[881152-20190422220023522-1122015982.png]: /images/20211211/7019a1240caa47b5b22f366f12fe61a8.png
[881152-20190423100152137-353358349.png]: /images/20211211/dd3123fcd189416cacd0a8e32edfc8e9.png
[881152-20190426173248266-163705498.jpg]: /images/20211211/4396b2a8a6cc46f1b7b77858a68188ec.png
[881152-20190423103041633-953061216.png]: /images/20211211/e7db77e23f8342dd9fe0573e9791f79b.png
[881152-20190423103216206-1168737176.png]: /images/20211211/397e2bf24db6449a8acca75e24e94fe2.png
[881152-20190423103234865-1193250430.png]: /images/20211211/b29e6addbf9647edab4a1436a3dedaf7.png
[881152-20190517195204002-588805358.png]: /images/20211211/59dfd5e7c4184b75aedfc00dc3f44b98.png
[881152-20190517200422623-654373898.jpg]: /images/20211211/7f552fe374774553bae67096464e7145.png
[881152-20190517200538602-907564149.jpg]: /images/20211211/a3806c097c2640c98ae86198ee951dde.png
[881152-20190517200545901-1557216709.jpg]: /images/20211211/bfc00eaba34f4324a519f28fad360a1d.png
[881152-20190517200602979-1265112002.jpg]: /images/20211211/0ff279649bed45f098570a2026995dea.png