Logistic回归中的Logit函数和sigmoid函数

快来打我* 2022-05-14 02:57 326阅读 0赞

在线性回归中，y=wTx  y = w T x ，是用直线去拟合数据，实现最小二乘意义下的最小预测误差。

在逻辑回归中：logit(p)=log(p1−p)=wTx  l o g i t ( p ) = l o g ( p 1 − p ) = w T x ，可以看作是用直线去拟合Logit函数，通过极大似然估计出参数，使得在该参数下，能以最大概率生成当前的样本。

这里要说明的是，线性回归解决的是回归问题，而逻辑回归是分类问题，但两者的形式非常的相似，上面两式的右边也是一致的。

Logistic回归通过对数据分类边界的拟合来实现分类。而这条数据分类边界即为直线，这也是它为什么可以被看作是一个广义线性模型的原因

在线性回归中，回归的因变量y是连续的，没有明确的上下限，因此可以用线性模型来拟合。而逻辑回归应用于分类时，因变量，也就是类别y只有0和1，满足二项分布，这是连续的线性模型无法拟合的。因此，需要选择最佳的连接函数，它就是Logit函数。

这里给出Logit函数的图像(来自[维基百科][Link 1])：

![这里写图片描述][70]

可以看出Logit函数能把自变量从(0,1)连续单调地映射到正负无穷，这里类别y的0和1值分别对应(0,0.5)和(0.5,1)的概率值p。

另外，把wTx  w T x 看作一个整体，反解出p，就会看到我们熟悉的sigmoid函数

p=11\+e−wTx=sigmoid(wTx)  p = 1 1 + e − w T x = s i g m o i d ( w T x )

这里的sigmoid函数有非线性化和限幅的作用，限制在(0,1)之间，才能够用于分类。

**总结：**

**Logistic回归**是对特征（feature）做加权相加后，输入给Sigmoid函数，用Sigmoid函数的输出来确定二分类的结果。

其中的logistic就是sigmoid函数，因为它也叫logistic函数。它与logit函数互为反函数。

其中的回归在这里的含义可以理解为最佳拟合，表示要找到最佳拟合参数集用于对特征加权。训练分类器就是用最优化方法去寻找最佳拟合参数。

[Link 1]: https://en.wikipedia.org/wiki/Logit
[70]: /images/20220514/3f229f144b264c55808cc63431f0533e.png

发表评论取消回复

表情：

评论列表（有 0 条评论，326人围观）

还没有评论，来说两句吧...

相关阅读

相关（matlab实现）sigmoid函数和tanh函数以及ReLU函数

1. logsig函数即是logistic Regression（逻辑回归）中的sigmoid函数。 logsig函数表达式为： ![Center][] matlab实现

- 日理万妓/ 2023年06月04日 07:53/ 0 赞/ 34 阅读

相关回归函数和代价函数

文章目录导读回归函数猫娘的年龄-食量预测方程构造未知事件的预测代价函数真正的回归导读

蔚落/ 2022年11月27日 15:50/ 0 赞/ 336 阅读

相关 logistic回归

from numpy import def loadDataSet(): dataMat = []; labelMat = []

灰太狼/ 2022年06月05日 10:07/ 0 赞/ 259 阅读

相关 Logistic回归和Softmax回归理解

1. Logistic与Softmax简述谈到Logistic回归首先谈到便是逻辑思谛分布，其概率分布如下图所示： ![这里写图片描述][70] 可以看出该分布

你的名字/ 2022年05月28日 23:25/ 0 赞/ 339 阅读

相关 Sigmoid函数

Sigmoid函数是一个有着优美S形曲线的数学函数，在逻辑回归、人工神经网络中有着广泛的应用。Sigmoid函数的数学形式是： f(x)=11\+e−xf(x)=11

雨点打透心脏的1/2处/ 2022年05月24日 12:28/ 0 赞/ 379 阅读

相关 sigmoid函数的实现

[https://blog.csdn.net/yanxiaopan/article/details/76853082][https_blog.csdn.net_yanxiaop

今天药忘吃喽~/ 2022年05月16日 02:48/ 0 赞/ 294 阅读

相关 Logistic回归中的Logit函数和sigmoid函数

在线性回归中，y=wTx y = w T x ，是用直线去拟合数据，实现最小二乘意义下的最小预测误差。在逻辑回归中：logit(p)=log(p1−p)=wTx l o

快来打我*/ 2022年05月14日 02:57/ 0 赞/ 327 阅读

相关 pytorch中的损失函数中的logits

PyTorch（tensorflow类似）的损失函数中，有一个（类）损失函数名字中带了`with_logits`. 而这里的logits指的是,该损失函数已经内部自带了计算lo

谁践踏了优雅/ 2022年04月25日 09:56/ 0 赞/ 325 阅读

相关 logistic回归

前言 > 阅读《统计学习方法》逻辑回归的笔记文章目录前言逻辑回归模型 logistic distributio

谁借莪１个温暖的怀抱￠/ 2022年04月17日 03:35/ 0 赞/ 319 阅读

相关 Logistic回归

Logistic回归进行分类的思想：根据现有数据对分类边界建立回归公式，以此进行分类。 """ 函数说明:梯度上升算法测试函数求函数f(x)

不念不忘少年蓝@/ 2021年10月01日 12:20/ 0 赞/ 528 阅读