逻辑回归（LR实则分类）的损失函数

短命女 2023-02-17 02:24 83阅读 0赞

原文链接：[https://blog.csdn.net/CTTACM/article/details/91472794][https_blog.csdn.net_CTTACM_article_details_91472794]

逻辑回归是在线性函数的基础上，经过激活函数后产生的0~1之间的概率值。  
设x为特征向量，y为真实的标签。KaTeX parse error: Got function '\\hat' with no arguments as superscript at position 11: yˆy^ \\̲h̲a̲t̲ ̲yy^=1.x是负样本，似然函数也等于1，KaTeX parse error: Expected group after '\\hat' at position 46: …oup after '\\hat'̲ at end of inpu…=0.所以我们的目标就是要最大化似然函数。  
以往的线性回归模型，使用的都是最小二乘法作为损失函数，大意就是用预测值与真实值的差作为评价模型好坏的标准。毕竟越好的模型预测的应该越准确嘛。  
但这里却没用最小二乘作为损失函数，为什么呢？因为线性回归是回归问题，而逻辑回归虽然叫逻辑回归，实则确实分类问题。类别变量不同于连续变量，连续变量可以用差距衡量模型的好坏，分类问题却只是用数值代表类别，数值本身确实无意义的，比如用\{0，1\}表示的类别，用\{1，2\}也同样能够表示。经过学习我们知道，类别问题更应该用概率分布的角度衡量预测出的类别与真实类别的差距。  
接着之前的讲，我们要好的模型，就要最大化似然函数。这里用一个小技巧，把似然函数两边取对数，得到对数似然函数，因为对数函数是单调递增的，所以最大化似然函数等价于最大化似然函数。  
![在这里插入图片描述][20190611213729565.png]  
在讲这个对数似然函数之前，我们要提一下“损失函数”，损失函数：真实值-预测值=损失掉的值。机器学习中，总是希望损失函数的值越小越好。所以，我们希望最大化对数似然函数，就可以让损失函数等于负的对数似然函数，那么对数似然函数越大，损失函数不就越小了么。  
上式中的大写L就是代表损失函数。  
最大化似然函数也就是最小化损失函数。  
对于m个样本的整个训练集，服从独立同分布的样本的联合概率（样本与样本没有关联）就是每个样本的概率的乘积：  
![在这里插入图片描述][20190611215139837.png]  
同样的，最大化似然函数也就是最小化代价函数，因此可以去掉负号，并除以一个常数m对代价函数进行适当的缩放，得到：  
![在这里插入图片描述][20190611215253876.png]  
参考：[https://blog.csdn.net/weixin\_41537599/article/details/80585201][https_blog.csdn.net_weixin_41537599_article_details_80585201]

</div>
                <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-60ecaf1f42.css" rel="stylesheet">
                                </div>

[https_blog.csdn.net_CTTACM_article_details_91472794]: https://blog.csdn.net/CTTACM/article/details/91472794
[20190611213729565.png]: https://img-blog.csdnimg.cn/20190611213729565.png
[20190611215139837.png]: https://img-blog.csdnimg.cn/20190611215139837.png
[20190611215253876.png]: https://img-blog.csdnimg.cn/20190611215253876.png
[https_blog.csdn.net_weixin_41537599_article_details_80585201]: https://blog.csdn.net/weixin_41537599/article/details/80585201