机器学习基础100天---day04 逻辑回归

今天药忘吃喽~ 2022-05-12 11:36 182阅读 0赞

## 逻辑回归 ##

首先这是一个分类问题而不是一个回归问题。在给定自变量和超参数的情况下，得到因变量的期望，并基于此期望来处理预测分类的问题。因变量的取值是一个二元分布。

> 逻辑回归于线性回归的区别：

*  逻辑回归的因变量是离散的
 *  线性回归的因变量是连续的

> 逻辑回归处理多标签的分类问题

多项逻辑回归是二分类逻辑回归在多标签分类下的一种拓展。  
当存在样本可能属于多个标签时，我们可以训练k个二分类的逻辑回归分类器。当第i个分类器用以区分每个样本是否可以归为第i类，训练该分类器时，需要把标签重新整理为“第i类标签”与“非第i类标签”两类。通过这样的方式，我们就解决了每个样本可能属于多个标签的情况。

## 逻辑回归实战 ##

该数据集包含了社交网络中用户的信息。这些信息涉及用户ID,性别,年龄以及预估薪资。一家汽车公司刚刚推出了他们新型的豪华SUV，我们尝试预测哪些用户会购买这种全新SUV。并且在最后一列用来表示用户是否购买。我们将建立一种模型来预测用户是否购买这种SUV，该模型基于两个变量，分别是年龄和预计薪资。因此我们的特征矩阵将是这两列。我们尝试寻找用户年龄与预估薪资之间的某种相关性，以及他是否购买SUV的决定。

> User ID,Gender,Age,EstimatedSalary,Purchased  
> 15624510,Male,19,19000,0  
> 15810944,Male,35,20000,0  
> 15668575,Female,26,43000,0  
> 15603246,Female,27,57000,0  
> 15804002,Male,19,76000,0  
> 15728773,Male,27,58000,0  
> 15598044,Female,27,84000,0  
> 15694829,Female,32,150000,1  
> 15600575,Male,25,33000,0  
> 15727311,Female,35,65000,0  
> 15570769,Female,26,80000,0  
> 15606274,Female,26,52000,0  
> 15746139,Male,20,86000,0  
> 15704987,Male,32,18000,0  
> 15628972,Male,18,82000,0  
> 15697686,Male,29,80000,0  
> 15733883,Male,47,25000,1  
> 15617482,Male,45,26000,1  
> 15704583,Male,46,28000,1  
> 15621083,Female,48,29000,1  
> 15649487,Male,45,22000,1  
> 15736760,Female,47,49000,1  
> 15714658,Male,48,41000,1  
> 15599081,Female,45,22000,1  
> 15705113,Male,46,23000,1  
> 15631159,Male,47,20000,1  
> 15792818,Male,49,28000,1  
> 15633531,Female,47,30000,1  
> 15744529,Male,29,43000,0  
> 15669656,Male,31,18000,0

#_*_coding:utf-8_*_
    
    import numpy as np
    import pandas as pd
    import matplotlib.pyplot as plt
    
    dataset = pd.read_csv('../data/Social_Network_Ads.csv')
    X = dataset.iloc[:, [2, 3]].values
    y = dataset.iloc[:, 4].values
    
    # Splitting the dataset into the Training set and Test set
    from sklearn.model_selection import train_test_split
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.25, random_state = 0)
    
    # Feature Scaling
    from sklearn.preprocessing import StandardScaler
    sc = StandardScaler()
    X_train = sc.fit_transform(X_train)
    X_test = sc.transform(X_test)
    
    # Fitting Logistic Regression to the Training set
    from sklearn.linear_model import LogisticRegression
    classifier = LogisticRegression()
    classifier.fit(X_train, y_train)
    
    # Predicting the Test set results
    y_pred = classifier.predict(X_test)
    
    # 评估预测      混淆矩阵
    from sklearn.metrics import confusion_matrix
    from sklearn.metrics import classification_report
    cm = confusion_matrix(y_test, y_pred)
    
    from matplotlib.colors import ListedColormap
    X_set,y_set=X_train,y_train
    X1,X2=np. meshgrid(np. arange(start=X_set[:,0].min()-1, stop=X_set[:, 0].max()+1, step=0.01),
                       np. arange(start=X_set[:,1].min()-1, stop=X_set[:,1].max()+1, step=0.01))
    plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(),X2.ravel()]).T).reshape(X1.shape),
                 alpha = 0.75, cmap = ListedColormap(('red', 'green')))
    plt.xlim(X1.min(),X1.max())
    plt.ylim(X2.min(),X2.max())
    for i,j in enumerate(np. unique(y_set)):
        plt.scatter(X_set[y_set==j,0],X_set[y_set==j,1],
                    c = ListedColormap(('red', 'green'))(i), label=j)
    
    plt. title(' LOGISTIC(Training set)')
    plt. xlabel(' Age')
    plt. ylabel(' Estimated Salary')
    plt. legend()
    plt. show()
    
    X_set,y_set=X_test,y_test
    X1,X2=np. meshgrid(np. arange(start=X_set[:,0].min()-1, stop=X_set[:, 0].max()+1, step=0.01),
                       np. arange(start=X_set[:,1].min()-1, stop=X_set[:,1].max()+1, step=0.01))
    
    plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(),X2.ravel()]).T).reshape(X1.shape),
                 alpha = 0.75, cmap = ListedColormap(('red', 'green')))
    plt.xlim(X1.min(),X1.max())
    plt.ylim(X2.min(),X2.max())
    for i,j in enumerate(np. unique(y_set)):
        plt.scatter(X_set[y_set==j,0],X_set[y_set==j,1],
                    c = ListedColormap(('red', 'green'))(i), label=j)
    
    plt. title(' LOGISTIC(Test set)')
    plt. xlabel(' Age')
    plt. ylabel(' Estimated Salary')
    plt. legend()
    plt. show()