Python机器学习算法 — 逻辑回归（Logistic Regression）

喜欢ヅ旅行 2023-10-07 12:37 10阅读 0赞

### 逻辑回归--简介 ###

逻辑回归(Logistic Regression)就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。  
 **Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。**  
 **回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率。**

### 逻辑回归--优缺点 ###

优点：  
1、速度快，适合二分类问题 ；  
2、简单易于理解，直接看到各个特征的权重 ；  
3、能容易地更新模型吸收新的数据 ；  
缺点：  
1、对数据的场景的适应能力有局限性，不如决策树算法适应性强；

###  ###

### 逻辑回归--用途 ###

用途：  
1、寻找危险因素：寻找某一疾病的危险因素等；  
2、预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大；  
3、判别：实际上跟预测有些类似，也是根据模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病

### 逻辑回归--原理 ###

**Logistic Regression和Linear Regression的原理是相似的，按照我自己的理解，可以简单的描述为这样的过程：**  
 **（1）找一个合适的预测函数（Andrew Ng的公开课中称为hypothesis），一般表示为h函数，该函数就是我们需要找的分类函数，它用来预测输入数据的判断结果。这个过程时非常关键的，需要对数据有一定的了解或分析，知道或者猜测预测函数的“大概”形式，比如是线性函数还是非线性函数。**  
 **（2）构造一个Cost函数（损失函数），该函数表示预测的输出（h）与训练数据类别（y）之间的偏差，可以是二者之间的差（h-y）或者是其他的形式。综合考虑所有训练数据的“损失”，将Cost求和或者求平均，记为J(θ)函数，表示所有训练数据预测值与实际类别的偏差。**  
 **（3）显然，J(θ)函数的值越小表示预测函数越准确（即h函数越准确），所以这一步需要做的是找到J(θ)函数的最小值。找函数的最小值有不同的方法，Logistic Regression实现时有的是梯度下降法（Gradient Descent）。**

###  ###

### 逻辑回归--具体过程 ###

**一、构造预测函数**

**Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为：**

![70][]

**Sigmoid 函数在有个很漂亮的“S”形，如下图所示：**

![70 1][]

下面左图是一个线性的决策边界，右图是非线性的决策边界：

![70 2][]

对于线性边界的情况，边界形式如下：

![70 3][]

构造预测函数为：

![70 4][]

**函数![70 5][]的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：**

![70 6][]

二、构造损失函数

**Cost 函数和 J 函数如下，它们是基于最大似然估计推导得到的：**

![70 7][]

![70 8][]

下面详细说明推导的过程：  
（1）式综合起来可以写成：

![70 9][]

**取似然函数为：**

![70 10][]

**对数似然函数为：**

![70 11][]

**最大似然估计就是求使![1405496927\_9629.png][1405496927_9629.png]![uploading.4e448015.gif][]转存失败重新上传取消![1405496927_9629.png][]取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。但是，在Andrew Ng的课程中将** **J(θ)** **取为下式，即：**

![70 12][]

因为乘了一个负的系数-1/m，所以取 **J(θ)** **最小值时的θ为要求的最佳参数。**

三、梯度下降法求的最小值

求J(θ)的最小值可以使用梯度下降法，根据梯度下降法可得θ的更新过程：

![70 13][]

**式中为α学习步长，下面来求偏导：**

![70 14][]

**θ更新过程可以写成：**

![70 15][]

### 逻辑回归--实例 ###

# -*- coding: utf-8 -*-
    
    from numpy import *
    import matplotlib.pyplot as plt
    
    #从文件中加载数据：特征X，标签label
    def loadDataSet():
        dataMatrix=[]
        dataLabel=[]
        #这里给出了python 中读取文件的简便方式
        f=open('testSet.txt')
        for line in f.readlines():
            #print(line)
            lineList=line.strip().split()
            dataMatrix.append([1,float(lineList[0]),float(lineList[1])])
            dataLabel.append(int(lineList[2]))
        #for i in range(len(dataMatrix)):
        #   print(dataMatrix[i])
        #print(dataLabel)
        #print(mat(dataLabel).transpose())
        matLabel=mat(dataLabel).transpose()
        return dataMatrix,matLabel
    
    #logistic回归使用了sigmoid函数
    def sigmoid(inX):
        return 1/(1+exp(-inX))
    
    #函数中涉及如何将list转化成矩阵的操作：mat()
    #同时还含有矩阵的转置操作：transpose()
    #还有list和array的shape函数
    #在处理矩阵乘法时，要注意的便是维数是否对应
    
    #graAscent函数实现了梯度上升法，隐含了复杂的数学推理
    #梯度上升算法，每次参数迭代时都需要遍历整个数据集
    def graAscent(dataMatrix,matLabel):
        m,n=shape(dataMatrix)
        matMatrix=mat(dataMatrix)
    
        w=ones((n,1))
        alpha=0.001
        num=500
        for i in range(num):
            error=sigmoid(matMatrix*w)-matLabel
            w=w-alpha*matMatrix.transpose()*error
        return w
    
    
    #随机梯度上升算法的实现，对于数据量较多的情况下计算量小，但分类效果差
    #每次参数迭代时通过一个数据进行运算
    def stocGraAscent(dataMatrix,matLabel):
        m,n=shape(dataMatrix)
        matMatrix=mat(dataMatrix)
    
        w=ones((n,1))
        alpha=0.001
        num=20  #这里的这个迭代次数对于分类效果影响很大，很小时分类效果很差  
        for i in range(num):
            for j in range(m):
                error=sigmoid(matMatrix[j]*w)-matLabel[j]
                w=w-alpha*matMatrix[j].transpose()*error        
        return w
    
    #改进后的随机梯度上升算法
    #从两个方面对随机梯度上升算法进行了改进,正确率确实提高了很多
    #改进一：对于学习率alpha采用非线性下降的方式使得每次都不一样
    #改进二：每次使用一个数据，但是每次随机的选取数据，选过的不在进行选择
    def stocGraAscent1(dataMatrix,matLabel):
        m,n=shape(dataMatrix)
        matMatrix=mat(dataMatrix)
    
        w=ones((n,1))
        num=200  #这里的这个迭代次数对于分类效果影响很大，很小时分类效果很差
        setIndex=set([])
        for i in range(num):
            for j in range(m):
                alpha=4/(1+i+j)+0.01
    
                dataIndex=random.randint(0,100)
                while dataIndex in setIndex:
                    setIndex.add(dataIndex)
                    dataIndex=random.randint(0,100)
                error=sigmoid(matMatrix[dataIndex]*w)-matLabel[dataIndex]
                w=w-alpha*matMatrix[dataIndex].transpose()*error    
        return w
    
    #绘制图像
    def draw(weight):
        x0List=[];y0List=[];
        x1List=[];y1List=[];
        f=open('testSet.txt','r')
        for line in f.readlines():
            lineList=line.strip().split()
            if lineList[2]=='0':
                x0List.append(float(lineList[0]))
                y0List.append(float(lineList[1]))
            else:
                x1List.append(float(lineList[0]))
                y1List.append(float(lineList[1]))
    
        fig=plt.figure()
        ax=fig.add_subplot(111)
        ax.scatter(x0List,y0List,s=10,c='red')
        ax.scatter(x1List,y1List,s=10,c='green')
    
        xList=[];yList=[]
        x=arange(-3,3,0.1)
        for i in arange(len(x)):
            xList.append(x[i])
    
        y=(-weight[0]-weight[1]*x)/weight[2]
        for j in arange(y.shape[1]):
            yList.append(y[0,j])
    
        ax.plot(xList,yList)
        plt.xlabel('x1');plt.ylabel('x2')
        plt.show()
    
    
    if __name__ == '__main__':
        dataMatrix,matLabel=loadDataSet()
        #weight=graAscent(dataMatrix,matLabel)
        weight=stocGraAscent1(dataMatrix,matLabel)
        print(weight)
        draw(weight)

作者：[ls秦][ls]

出处：[http://www.cnblogs.com/lsqin/][ls]

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利.

来源:[https://www.cnblogs.com/lsqin/p/9342935.html][https_www.cnblogs.com_lsqin_p_9342935.html]

[70]: https://img-blog.csdn.net/20180628161231159?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 1]: https://img-blog.csdn.net/20180628161304625?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 2]: https://img-blog.csdn.net/20180628161411713?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 3]: https://img-blog.csdn.net/20180628161551790?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 4]: https://img-blog.csdn.net/20180628161538304?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 5]: https://img-blog.csdn.net/20180628161945378?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 6]: https://img-blog.csdn.net/20180628162045647?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 7]: https://img-blog.csdn.net/20180628162117856?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 8]: https://img-blog.csdn.net/2018062816213135?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 9]: https://img-blog.csdn.net/2018062816214948?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 10]: https://img-blog.csdn.net/20180628162210753?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 11]: https://img-blog.csdn.net/20180628162228798?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[1405496927_9629.png]: https://img-my.csdn.net/uploads/201407/16/1405496927_9629.png
[uploading.4e448015.gif]: https://csdnimg.cn/release/mp/img/uploading.4e448015.gif
[70 12]: https://img-blog.csdn.net/20180628162334910?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 13]: https://img-blog.csdn.net/20180628162438283?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 14]: https://img-blog.csdn.net/20180628162446727?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 15]: https://img-blog.csdn.net/20180628162506486?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MzI4Mzc4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[ls]: http://www.cnblogs.com/lsqin/
[https_www.cnblogs.com_lsqin_p_9342935.html]: https://www.cnblogs.com/lsqin/p/9342935.html