线性回归

今天药忘吃喽~ 2022-04-23 01:24 316阅读 0赞

1 回归问题：目标值 - 连续型的数据  
2 线性回归的原理  
    什么是线性回归  
    1）函数关系 特征值和目标值  
    2）线型模型  
        线性关系  
    y = w1x1 + w2x2 + w3x3 + …… + wnxn + b  
      = wTx + b  
    广义线性模型  
        非线性关系？  
        线性模型  
            1）自变量一次  
             y = w1x1 + w2x2 + w3x3 + …… + wnxn + b  
            2）参数一次  
             y = w1x1 + w2x1^2 + w3x1^3 + w4x2^3 + …… + b  
        线性关系&线性模型  
        线性关系一定是线性模型  
        线性模型不一定是线性关系  
3 线性回归的损失和优化原理（理解记忆）  
    目标：求模型参数  
        模型参数能够使得预测准确  
    真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率  
    随意假定：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率  
    损失函数/cost/成本函数/目标函数：  
        最小二乘法  
    优化损失方法  
        1）正规方程（矩阵求导一次运算求出）  
            天才 - 直接求解W  
        2）梯度下降（迭代求解）  
            勤奋努力的普通人  
                试错、改进  
4 波士顿房价预测  
    流程：  
        1）获取数据集  
        2）划分数据集  
        3）特征工程：  
            无量纲化 - 标准化  
        4）预估器流程  
            fit() --> 模型  
            coef\_ intercept\_  
        5）模型评估  
5 回归的性能评估：均方误差  
6 正规方程和梯度下降对比  
    正规方程复杂度较高O（n^3），适用于小数据量，梯度下降灵活性高（可以调参数），适用于大数据量，梯度下降更常用。

### 代码一（正规方程优化）： ###

from sklearn.datasets import load_boston
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.linear_model import LinearRegression
    from sklearn.metrics import mean_squared_error
    
    def linear1():
        """
        正规方程的优化方法对波士顿房价进行预测
        :return:
        """
        # 1）获取数据
        boston = load_boston()
    
        # 2）划分数据集
        x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)
    
        # 3）标准化
        transfer = StandardScaler()
        x_train = transfer.fit_transform(x_train)
        x_test = transfer.transform(x_test)
    
        # 4）预估器
        estimator = LinearRegression()
        estimator.fit(x_train, y_train)
    
        # 5）得出模型
        print("正规方程-权重系数为：\n", estimator.coef_)
        print("正规方程-偏置为：\n", estimator.intercept_)
    
        # 6）模型评估
        y_predict = estimator.predict(x_test)
        print("预测房价：\n", y_predict)
        error = mean_squared_error(y_test, y_predict)
        print("正规方程-均方误差为：\n", error)
    
        return None
    
    if __name__ == "__main__":
        linear1()

### 代码二（梯度下降优化）： ###

from sklearn.datasets import load_boston
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.linear_model import SGDRegressor
    from sklearn.metrics import mean_squared_error
    
    def linear2():
        """
        梯度下降的优化方法对波士顿房价进行预测
        :return:
        """
        # 1）获取数据
        boston = load_boston()
        print("特征数量：\n", boston.data.shape)
    
        # 2）划分数据集
        x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)
    
        # 3）标准化
        transfer = StandardScaler()
        x_train = transfer.fit_transform(x_train)
        x_test = transfer.transform(x_test)
    
        # 4）预估器  eta0是一个超参数，代表学习率
        estimator = SGDRegressor(learning_rate="constant", eta0=0.01, max_iter=10000, penalty="l1")
        estimator.fit(x_train, y_train)
    
        # 5）得出模型
        print("梯度下降-权重系数为：\n", estimator.coef_)
        print("梯度下降-偏置为：\n", estimator.intercept_)
    
        # 6）模型评估
        y_predict = estimator.predict(x_test)
        print("预测房价：\n", y_predict)
        error = mean_squared_error(y_test, y_predict)
        print("梯度下降-均方误差为：\n", error)
    
        return None
    
    if __name__ == "__main__":
        linear2()