UFLDL教程（四）之Softmax回归

曾经终败给现在 2021-07-16 19:06 429阅读 0赞

关于Andrew Ng的machine learning课程中，有一章专门讲解逻辑回归（Logistic回归），[具体课程笔记见另一篇文章][Link 1]。

下面，对Logistic回归做一个简单的小结：

给定一个待分类样本*x*，利用Logistic回归模型判断该输入样本的类别，需要做的就是如下两步：

① 计算逻辑回归假设函数的取值hθ(x)，其中n是样本的特征维度

![280857047651502.png][]

② 如果hθ(x)>=0.5，则x输入正类，否则，x属于负类

或者直接利用判别边界进行判断，即：如果θ'x>=0，则x输入正类，否则，x属于负类

所以，Logistic回归只能解决两类分类问题。

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

这里一个很重要的问题就是，在对待分类样本进行分类之前，需要利用训练样本对该逻辑回归模型的参数θ=\[θ1, θ2, ..., θn\]进行求解

最优化的模型参数就是使代价函数取得最小值的参数，所以，只要利用优化，找到使得代价函数具有最小值的参数即可。

（1）给定参数theta的初始值

（2）利用函数fminunc对代价函数进行优化，求得最优化的theta值

该函数要求输入theta的初始值、梯度和代价函数的计算函数、其他设置

（3）得到最优化的theta值后，对于某一个待分类样本，计算它的假设函数取值或者是判定边界的取值，从而可以对其分类进行判别

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

下面开始是softmax回归问题

**第0步：初始化参数**

①样本特征维数n (inputSize)

②样本类别数k (numClasses)

③衰减项权重  (lambda)

![291225574222453.png][]

第一步：载人MNIST数据集

① 载入MNIST数据集

② 载入MNIST数据集的标签

在标签集中，标签0表示数字0，为了后续处理方便，将数字0的标签改为10

注1：实验中，有时为了调试方便，在调试时，可以加入合成数据；

注2：程序文件夹中，为了分类方便，将MNIST数据集和MNIST数据集的操作函数都存放在MNIST文件夹中，在使用前，加入语句addpath mnist/即可；

![291225578594052.png][]

**随机产生参数theta的初始值**

它的维数是k\*n，k是类别数numClasses，n是输入样本的特征维数inputSize

![736761-20150829122558265-615132356.png][]

第二步：编写softmax函数

该函数的作用是计算代价函数及代价函数的梯度

（1）计算代价函数

① 代价函数的计算公式如下：

![291225585156653.png][]

② 程序中的向量化计算方法如下:

![291225587651196.png][]

(2) 计算梯度

① 梯度的计算公式如下：

![291225591402011.png][]

② 程序中向量化计算方法如下：

![736761-20150829122559937-1710884103.png][]

![291226002199440.png][]

第三步：梯度检验

在首次编写完softmax函数后，要利用梯度检验算法，验证编写的softmaxCost函数是否正确；直接调用checkNumericalCradient函数

第四步：利用训练样本集学习Softmax的回归参数

![291226006097025.png][]

第五步：对于某一个待分类样本，利用求得的softmax回归模型对其进行分类

![291226008444798.png][]

\*\*\*\*\*\*关于向量化的程序公式的推导\*\*\*\*\*\*

（1）已知参数的形式

① 参数*θ*的形式

![736761-20150829122601234-1480609852.png][]

② 输入数据*x*的形式

![291226014371912.png][]

③ *θx*的乘积形式，记为矩阵*M*

![291226017193699.png][]

（2）单个样本的成本函数

① 单个样本的成本函数

![291226020783041.png][]

即：![736761-20150829122602609-312133990.png][]

② 单个样本的假设函数

![291226029066927.png][]

但实际中，为了不会出现计算上的溢出，需要对假设函数的每一项都做如下调整

![291226032509498.png][]

其中：![291226035629527.png][]

则有：

![736761-20150829122604047-870882727.png][]

（3）*m*个样本的成本函数

① *m*个样本的成本函数

![291226044378428.png][]

② *m*个样本的假设函数

![291226048447486.png][]

其中：

![291226051724287.png][]

(4) 计算梯度

① 单个样本的梯度计算

![736761-20150829122605906-1098227877.png][]

注1：![291226062507015.png][]

注2：![291226065627044.png][]

② m个样本梯度的计算

![291226069222089.png][]

则有：

![736761-20150829122607297-1060275888.png][]

**\*\*\*\*\*\*按照神经网络的形式理解softmax模型\*\*\*\*\*\***

（1）softmax模型，可以以神经网路的形式绘制，如下图所示

![736761-20150831100843419-1547079078.png][]

可以看到，softmax模型与传统的神经网络相比，只是输出层所使用的函数发生了变化：softmax模型使用的是指数函数，而神经网络使用的是sigmoid函数；

[Link 1]: http://www.cnblogs.com/lutingting/p/4766148.html
[280857047651502.png]: /images/20210716/b042cbf61205412cbe4b32d5ed5d86b4.png
[291225574222453.png]: /images/20210716/9eb225484af54596b1355f526c3c1489.png
[291225578594052.png]: /images/20210716/226ac08c709d486494a83d5a704025c1.png
[736761-20150829122558265-615132356.png]: /images/20210716/8be67c58a7de4373892dad28bd651347.png
[291225585156653.png]: /images/20210716/04c6634c105e484392ea15ca778dc01b.png
[291225587651196.png]: /images/20210716/bb69af999f2b43fdb35a01a293b527c3.png
[291225591402011.png]: /images/20210716/5ec8b2b561a54f5a99ca40a1b017c061.png
[736761-20150829122559937-1710884103.png]: /images/20210716/f3bd0fc7a1bf414a908ebf5b7e2b72ff.png
[291226002199440.png]: /images/20210716/58fd97981def4f4c852b9a5cc03fdcbe.png
[291226006097025.png]: /images/20210716/94b2a0aded604e47adce6e89a87476ec.png
[291226008444798.png]: /images/20210716/5ad0889e63814366bece79b60e787807.png
[736761-20150829122601234-1480609852.png]: /images/20210716/9907e6b4c7614b90a099f5849a8709a9.png
[291226014371912.png]: /images/20210716/37f18de09c974148ad8c8dd91ba70a3d.png
[291226017193699.png]: /images/20210716/114a62b8288a4badbe56fcde822502da.png
[291226020783041.png]: /images/20210716/6ba8660a24be49c4bf496c26088ab884.png
[736761-20150829122602609-312133990.png]: /images/20210716/3ff4a5e399664f84848194c850fa905f.png
[291226029066927.png]: /images/20210716/feae47eeb95349feab4be97e3b6b4cba.png
[291226032509498.png]: /images/20210716/095159089c0242f28c7ac39da02fabcf.png
[291226035629527.png]: /images/20210716/67ab7bddd9174c09af425818689f86d4.png
[736761-20150829122604047-870882727.png]: /images/20210716/3d3a93bb57524321806691a98ef5e169.png
[291226044378428.png]: /images/20210716/a46c3624bba0477e97e2c8c9596a0815.png
[291226048447486.png]: /images/20210716/c7f8fc44710b477783be4312d51e0694.png
[291226051724287.png]: /images/20210716/3cec6ca84a1e4d7ca6756b53784a2dce.png
[736761-20150829122605906-1098227877.png]: /images/20210716/5d23c9dcda284abd822dcb5fac4678de.png
[291226062507015.png]: /images/20210716/15ad5a648e2a4abb967100abc2d45e7c.png
[291226065627044.png]: /images/20210716/b8a1c9ed846e4bc2a6c65aec0c0fec2b.png
[291226069222089.png]: /images/20210716/b5b8ee9a277d4e1a8348938c9df22d4b.png
[736761-20150829122607297-1060275888.png]: /images/20210716/0f299a2db28047b1af24fa6c98b29a07.png
[736761-20150831100843419-1547079078.png]: /images/20210716/d0a2499b8b61450f8883bf66729ac456.png