逻辑回归癌症分类预测

曾经终败给现在 2023-06-12 12:27 36阅读 0赞

> 逻辑回归(Logistic Regression)是一种分类模型

应用场景:  
广告点击率  
是否为垃圾邮件  
是否患病  
金融诈骗  
虚假账号

### 一.案例背景介绍 ###

# -*- coding: utf-8 -*-
    # @Time    : 2019/11/13 07:16
    # @Author  :
    
    import pandas as pd
    import numpy as np
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.linear_model import LogisticRegression
    
    import ssl
    ssl._create_default_https_context = ssl._create_unverified_context
    
    # 2.基本数据处理
    # 2.1 缺失值处理
    data = data.replace(to_replace="?", value=np.NaN)
    data = data.dropna()
    # 2.2 确定特征值,目标值
    x = data.iloc[:, 1:10]
    y = data["Class"]
    
    # 2.3 分割数据
    x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)
    
    # 3.特征工程(标准化)
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)
    
    # 4.机器学习(逻辑回归)
    estimator = LogisticRegression()
    estimator.fit(x_train, y_train)
    
    # 5.模型评估(比如以这个癌症举例子！！！我们并不关注预测的准确率，而是关注在所有的样本当中，癌症患者有没有被全部预测（检测）出来)
    y_predict = estimator.predict(x_test)
    estimator.score(x_test, y_test)

![在这里插入图片描述][20191113071321373.png]

### 二.知识点汇总 ###

#### 1.1逻辑回归的原理 ####

逻辑回归中，其输入值是什么  
如何判断逻辑回归的输出

#### 1.2 输入 ####

![在这里插入图片描述][20191113072317378.png]

#### 1.3激活函数 ####

sigmoid函数  
![在这里插入图片描述][2019111307241846.png]  
判断标准

回归的结果输入到sigmoid函数当中  
输出结果：\[0, 1\]区间中的一个概率值，默认为0.5为阈值  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70]

> 逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）

输出结果解释(重要)：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.55，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

关于`逻辑回归的阈值是可以进行改变的`，比如上面举例中，如果你把阈值设置为0.6，那么输出的结果0.55，就属于B类。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70 1]

#### 2 损失以及优化 ####

##### 2.1损失 #####

逻辑回归的损失，称之为`对数似然损失`  
![在这里插入图片描述][20191113072824387.png]

> 其中y为真实值，h@(x)为预测值

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70 2]  
损失函数值，越小越好  
![在这里插入图片描述][20191113073035117.png]  
![在这里插入图片描述][2019111307305068.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70 3]

> 我们已经知道，log§, P值越大，结果越小

##### 2.2优化 #####

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，**提升原本属于1类别的概率，降低原本是0类别的概率**。

[20191113071321373.png]: https://img-blog.csdnimg.cn/20191113071321373.png
[20191113072317378.png]: https://img-blog.csdnimg.cn/20191113072317378.png
[2019111307241846.png]: https://img-blog.csdnimg.cn/2019111307241846.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191113072442564.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191113072613678.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5,size_16,color_FFFFFF,t_70
[20191113072824387.png]: https://img-blog.csdnimg.cn/20191113072824387.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191113073011293.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5,size_16,color_FFFFFF,t_70
[20191113073035117.png]: https://img-blog.csdnimg.cn/20191113073035117.png
[2019111307305068.png]: https://img-blog.csdnimg.cn/2019111307305068.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191113073115487.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvY2t0YWlsX3B5,size_16,color_FFFFFF,t_70