逻辑回归-1.原理

雨点打透心脏的1/2处 2023-08-17 16:44 136阅读 0赞

# 逻辑回归 #

解决分类问题：将样本的特征和样本发生的的概率联系起来，逻辑回归既可以看作是分类算法，也可以看作回归算法

考虑之前的线性回归算法：$\\hat y = f(x) $ --> $ \\hat y = X\_b \\cdot \\theta $ ,其中值域为：$ (-\\infty,+\\infty)$  
对于概率来讲，它的值域为\[0,1\]，所以，需要将结果作为特征值传入$ \\sigma $函数：  
\\\[ \\hat p = \\sigma (X\_b \\cdot \\theta) \\\]  
其中$ \\sigma $ 的表达式为：$ \\sigma (t)= \\frac\{1\}\{1+e^\{-t\}\} $

## 绘制$ \\sigma(t) $函数 ##

import numpy
    import matplotlib.pyplot as plt
    
    def sigmoid(t):
        return 1/(1+numpy.exp(-t))
        
    x = numpy.linspace(-10,10,500)
    y = sigmoid(x)
    plt.plot(x,y)
    plt.show()

![1465169-20190813202149019-1121968068.png][]

由上可以看出，函数将值域映射到\[0,1\]了，当t取0时，$ \\sigma $取0.5  
逻辑回归结构：  
![1465169-20190813202237207-1465384596.png][]

## 逻辑回归的损失函数 ##

> 如果y的真实分类值为1，而预测的p越大，损失越小，预测的p越小，损失越大  
> 如果y的真实分类值为0，而预测的p越大，损失越大，预测的p越小，损失越小

由此特性，可以定义损失函数：  
![1465169-20190813202316852-789616439.png][]

画出y=1时的损失函数：$ -log(\\hat p) $:

def log(t):
        return numpy.log(t)
        
    p = numpy.linspace(0,1,500)
    y1 = -log(p)
    plt.plot(p,y1)
    plt.show()

![1465169-20190813202404664-1493265709.png][]

预测的概率p越大，准确率越高，损失值越小，当p为1时，准确率100%，损失为0  
画出y=0时的损失函数：$ -log(1-\\hat p) $:  
![1465169-20190813202428703-517615153.png][]

预测的概率p越大，准确率越低，损失值越大，当p为1时，准确率为0，损失无穷大

将上面损失函数合二为一：$ cost = -ylog(\\hat p)-(1-y)log(1-\\hat p) $

由此得出逻辑回归的损失函数：  
\\\[ J(\\theta) = -\\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\}y^\{(i)\}log(\\hat p^\{(i)\})+(1-y^\{(i)\})log(1-\\hat p^\{(i)\}) \\\]  
其中：$ \\hat p^\{(i)\} = \\sigma (\\theta^T \\cdot x\_b) = \\frac\{1\}\{1+e^\{-X\_b^\{(i)\} \\cdot \\theta \}\} $

转载于:https://www.cnblogs.com/shuai-long/p/11348320.html

[1465169-20190813202149019-1121968068.png]: /images/20230809/8471b82d3b0945bcba3f434b0f029f33.png
[1465169-20190813202237207-1465384596.png]: /images/20230809/98ddacbc23774c82947b04c7c27d2806.png
[1465169-20190813202316852-789616439.png]: /images/20230809/622d0a4b80be4f25a6dcd23449803031.png
[1465169-20190813202404664-1493265709.png]: /images/20230809/64e1c0e83ced4d649ac1b040b5dffd08.png
[1465169-20190813202428703-517615153.png]: /images/20230809/579cb42378ff4f37bd79aa76bb3cda1e.png