基于Python的logistic regression对数据分类（模式识别课程设计）

素颜马尾好姑娘i 2024-03-26 13:04 52阅读 0赞

模式识别——logistic regression对数据分类

目录  
模式识别——logistic regression对数据分类 1  
一、Logistic Regression简介 1  
二、Logistic Regression推导过程 1  
1.基本原理 2  
2.具体过程 2  
2.1构造预测函数 2  
2.2构造Cost函数 2  
三、整体解决方案 4  
（1）logistic回归原理 4  
import numpy as np 5  
（2）使用logistic regression处理iris数据 5  
import numpy as np 6  
四、小组分工 8  
五、课程总结 8

一、Logistic Regression简介  
Logistic regression主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率，等等。例如，想探讨胃癌发生的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群肯定有不同的体征和生活方式等。这里的因变量就是是否胃癌，即“是”或“否”，为两分类变量，自变量就可以包括很多了，例如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。通过logistic regression分析，就可以大致了解到底哪些因素是胃癌的危险因素。  
Logistic regression也是当前业界比较常用的机器学习方法，用于估计某种事物的可能性。之前在经典之作《数学之美》中也看到了它用于广告预测，也就是根据某广告被用户点击的可能性，把最可能被用户点击的广告摆在用户能看到的地方，然后叫他“你点我啊！”用户点了，你就有钱收了。这就是为什么我们的电脑现在广告泛滥的原因了。  
二、Logistic Regression推导过程  
1.基本原理  
Logistic Regression按照我自己的理解，可以简单的描述为这样的过程：  
（1）找一个合适的预测函数，一般表示为h函数，该函数就是我们需要找的分类函数，它用来预测输入数据的判断结果。这个过程时非常关键的，需要对数据有一定的了解或分析，知道或者猜测预测函数的“大概”形式，比如是线性函数还是非线性函数。  
（2）构造一个Cost函数（损失函数），该函数表示预测的输出（h）与训练数据类别（y）之间的偏差，可以是二者之间的差（h-y）或者是其他的形式。综合考虑所有训练数据的“损失”，将Cost求和或者求平均，记为J(θ)函数，表示所有训练数据预测值与实际类别的偏差。  
（3）显然，J(θ)函数的值越小表示预测函数越准确（即h函数越准确），所以这一步需要做的是找到J(θ)函数的最小值。找函数的最小值有不同的方法，Logistic Regression实现可以用梯度下降法。

#-----preprare data----------
    from sklearn import datasets
    iris = datasets.load_iris()
    X = iris.data[:, :2]  
    Y = iris.target
    #-----fit data--------------------
    logclf = LogisticRegression(C=1e5)
    logclf.fit(X, Y)
    # Plot the decision boundary. For that, we will assign a color to each
    # point in the mesh [x_min, m_max]x[y_min, y_max].
    h = .02  # step size in the mesh
    x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5
    y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
    Z = logclf.predict(np.c_[xx.ravel(), yy.ravel()])
    # Put the result into a color plot
    Z = Z.reshape(xx.shape)
    pl.figure(1, figsize=(8, 6))
    pl.pcolormesh(xx, yy, Z, cmap=plt.get_cmap('Spectral'))
    # Plot also the training points
    for t,marker,col in zip(xrange(3),"o^D","rgb"):
        plt.scatter(X[Y == t,0], X[Y == t,1], marker=marker,c=col)
    pl.xlabel('Sepal length')
    pl.ylabel('Sepal width')
    pl.xlim(xx.min(), xx.max())
    pl.ylim(yy.min(), yy.max())
    plt.savefig("E:/wulingfei/logistic_classification/logistic_classify4.png", bbox_inches="tight")

![在这里插入图片描述][daa36b1c4b2b42a6a89d5ffa87f8ae68.png_pic_center]  
![在这里插入图片描述][ae88049a7b6d4814aa24c7b906a435d4.png_pic_center]  
![在这里插入图片描述][3a7aad0c5c9344d39d1fc859ae3fae1f.png_pic_center]  
![在这里插入图片描述][b45992a7937745869fffdc7e887cafd7.png_pic_center]  
![在这里插入图片描述][a0cb22b2329e47d4ae69140186a5a52d.png_pic_center]  
![在这里插入图片描述][cacbac8dfdec4009b9dbae3d6841cab5.png_pic_center]  
![在这里插入图片描述][8a5d61788bf94859801e62e896dc52d0.png_pic_center]  
![在这里插入图片描述][23bfa3ddba3840e49c0245077b41686d.png_pic_center]  
![在这里插入图片描述][28e975e70d6844a49f597f612ec31077.png_pic_center]  
![在这里插入图片描述][03c99a635ac14fa2acab576e70a8f6c5.png_pic_center]

[daa36b1c4b2b42a6a89d5ffa87f8ae68.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/e29e122c6411452e851877123257b35b.png
[ae88049a7b6d4814aa24c7b906a435d4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/48cc1d0c2ac743b79145bbfb74a99a36.png
[3a7aad0c5c9344d39d1fc859ae3fae1f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/1145b85291cd4bb59d3604d8a1cdd6a1.png
[b45992a7937745869fffdc7e887cafd7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/d203f508948544a59e15d5ace3c57aa3.png
[a0cb22b2329e47d4ae69140186a5a52d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/b08b4cdc9e39474ebe15489b24ee68b5.png
[cacbac8dfdec4009b9dbae3d6841cab5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/359508fa7eee4f5a80deea100c42daab.png
[8a5d61788bf94859801e62e896dc52d0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/fe931447f3574853b52fe2fb1c5201ea.png
[23bfa3ddba3840e49c0245077b41686d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/fe622a065e934303b7c54ba69710889b.png
[28e975e70d6844a49f597f612ec31077.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/66640da2e879490ea20719e10719b7f7.png
[03c99a635ac14fa2acab576e70a8f6c5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/bf854e74f17d4086aed3e1d78808088d.png