广义线性模型逻辑回归与softmax的推导

小灰灰 2022-07-10 04:28 267阅读 0赞

今天我来介绍一种在[机器学习][Link 1]中应用的比较多的模型，叫做**广义线性模型（GLM）**。这种模型是把自变量的线性预测

函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵

模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。

**Contents**

**1. 广义线性模型的认识**

**2. 常见概率分布的认识**

**1. 广义线性模型的认识**

首先，广义线性模型是基于**指数分布族**的，而指数分布族的原型如下

![261515194992020.png][]

其中![261539385933090.png][]为自然参数，它可能是一个向量，而![261546335304125.png][]叫做**充分统计量**，也可能是一个向量，通常来说![261547340157479.png][]。

实际上线性最小二乘回归和Logistic回归都是广义线性模型的一个特例。当随机变量![261611064055787.png][]服从高斯分布，那么

得到的是线性最小二乘回归，当随机变量![261612020304960.png][]服从伯努利分布，则得到的是Logistic回归。

那么如何根据指数分布族来构建广义线性模型呢？ 首先以如下三个假设为基础

**（1）**给定特征属性![261619251249659.png][]和参数![261620007964560.png][]后，![261620121408094.png][]的条件概率![261620498438109.png][]服从指数分布族，即![261621348746820.png][]。

**（2）**预测![261623254683065.png][]的期望，即计算![261625256713875.png][]。

**（3）**![261626013586707.png][]与![261626165308838.png][]之间是线性的，即![261627301554912.png][]。

在讲解利用广义线性模型推导最小二乘和Logistic回归之前，先来认识一些常见的分布，这是后面的基础。

**2. 常见概率分布的认识**

（1）高斯分布

关于高斯分布的内容我就不再多讲了，如果把它看成指数分布族，那么有

![261639484683820.png][]

对比一下指数分布族，可以发现

![261644590462103.png][]

所以高斯分布实际上也是属于指数分布族，线性最小二乘就是基于高斯分布的。

（2）伯努利分布

伯努利分布又叫做**两点分布**或者**0-1分布**，是一个离散型概率分布，若伯努利实验成功，则伯努利随机变

量取值为**1**，如果失败，则伯努利随机变量取值为**0**。并记成功的概率为![261658469839030.png][]，那么失败的概率就是![261659178276208.png][]，

所以得到其概率密度函数为

![261657357965311.png][]

如果把伯努利分布写成指数分布族，形式如下

![261705022028166.png][]

对比指数分布族，有

![261708291087555.png][]

**Logistic**回归就是基于伯努利分布的，之前的**Sigmoid函数**，现在我们就可以知道它是如何来的了。如下

![261714117337314.png][]

如果

![261716462181485.png][]

那么![261717270774170.png][]叫做**正则响应函数**，而![261718140629848.png][]叫做**正则关联函数**。

（3）泊松分布

泊松分布是一种离散型概率分布，其随机变量![261909092655512.png][]只能取非负整数值**0，1，2，...** 且其概率密度函数为

![261913286247578.png][]

其中参数![261915027183664.png][]是泊松分布的均值，也是泊松分布的方差，表示单位时间内随机事件的平均发生率。在实际

的实例中，近似服从泊松分布的事件有：某电话交换台收到的呼叫，某个网站的点击量，来到某个公共

汽车站的乘客，某放射性物质发射出的粒子，显微镜下某区域内的白血球等计数问题。

泊松分布的内容：**[http://zh.wikipedia.org/wiki/%E6%B3%8A%E6%9D%BE%E5%88%86%E4%BD%88][http_zh.wikipedia.org_wiki_E6_B3_8A_E6_9D_BE_E5_88_86_E4_BD_88]**

关于概率论中的分布主要介绍这几个，其中还有很多分布都属于指数分布族，比如伽马分布，指数分布，多

元高斯分布，Beta分布，Dirichlet分布，Wishart分布等等。根据这些分布的概率密度函数可以建立相

应的模型，这些都是广义线性模型的一个实例。

[Link 1]: http://lib.csdn.net/base/machinelearning
[261515194992020.png]: /images/20220709/031e2d7bb2f74ea99fdea54d3f95ce06.png
[261539385933090.png]: http://images.cnitblog.com/blog/571227/201412/261539385933090.png
[261546335304125.png]: http://images.cnitblog.com/blog/571227/201412/261546335304125.png
[261547340157479.png]: /images/20220709/50a3509ae4dd4bd1a3b78f432239535e.png
[261611064055787.png]: /images/20220709/83ff541615444efabe1679b0bc15badd.png
[261612020304960.png]: /images/20220709/317356518c0c4e12a9db2c22a2467f9a.png
[261619251249659.png]: http://images.cnitblog.com/blog/571227/201412/261619251249659.png
[261620007964560.png]: http://images.cnitblog.com/blog/571227/201412/261620007964560.png
[261620121408094.png]: http://images.cnitblog.com/blog/571227/201412/261620121408094.png
[261620498438109.png]: http://images.cnitblog.com/blog/571227/201412/261620498438109.png
[261621348746820.png]: /images/20220709/537960f5e54841f38e347053be03c1f1.png
[261623254683065.png]: http://images.cnitblog.com/blog/571227/201412/261623254683065.png
[261625256713875.png]: /images/20220709/3674ab63bf2f490fa9644f7cb09a6847.png
[261626013586707.png]: http://images.cnitblog.com/blog/571227/201412/261626013586707.png
[261626165308838.png]: http://images.cnitblog.com/blog/571227/201412/261626165308838.png
[261627301554912.png]: /images/20220709/f844eda27ce447ecaf75e8103aacebe0.png
[261639484683820.png]: /images/20220709/415bdf6d4e5c48469c97dd33eb70363b.png
[261644590462103.png]: /images/20220709/d6a70d0dcb904656bc24d017f2037ebe.png
[261658469839030.png]: http://images.cnitblog.com/blog/571227/201412/261658469839030.png
[261659178276208.png]: /images/20220709/08765a061c23466fa3bccde0a45eafb6.png
[261657357965311.png]: /images/20220709/a23e74836b02497989a0928d747c3e58.png
[261705022028166.png]: /images/20220709/f22691c9aa624caa8112efdbf12f85d9.png
[261708291087555.png]: /images/20220709/7980c6c3b00a46d6aaac5b8cf6eaa394.png
[261714117337314.png]: /images/20220709/e1d7117c5d81435cbcd61e7f92454f2e.png
[261716462181485.png]: /images/20220709/5b147d1a0343476cbfc1d7bd88649ca0.png
[261717270774170.png]: http://images.cnitblog.com/blog/571227/201412/261717270774170.png
[261718140629848.png]: /images/20220709/d461e2abf9fb47509438de10a9cd23ac.png
[261909092655512.png]: /images/20220709/4d1654450f4f469c87cc5fcc72ff614f.png
[261913286247578.png]: /images/20220709/9cbb7a64107c4e9cac598ccf4f8ea393.png
[261915027183664.png]: /images/20220709/ff2a0bdff5884bec88c6e8c93c50eabc.png
[http_zh.wikipedia.org_wiki_E6_B3_8A_E6_9D_BE_E5_88_86_E4_BD_88]: http://zh.wikipedia.org/wiki/%E6%B3%8A%E6%9D%BE%E5%88%86%E4%BD%88