逻辑回归-4.添加多项式特征

我会带着你远行 2023-08-17 16:44 116阅读 0赞

逻辑回归解决二分类问题，但是像下图所示的非线性数据集，是没办法用一条直线分割为两部分的。  
![1465169-20190907095939214-2056100137.png][]

对于此数据集，用一个圆形或者椭圆形分割是比较合理的，圆形的表达式：\\(X\_1^2 + X\_2^2 - R^2 = 0\\)  
为了让逻辑回归学习到这样的决策边界，我们需要引入多项式项，\\(X\_1^2,X\_2^2\\)分别是\\(X\_1,X\_2\\)的二次多项式。使用多项式后，可以定义任意圆心位置的圆、椭圆或不规则形状的决策边界。

## 代码实现 ##

构造数据集

import numpy
    import matplotlib.pyplot as plt
    
    numpy.random.seed(666)
    X = numpy.random.normal(0,1,size=(200,2))
    y = numpy.array(X[:,0]**2 + X[:,1]**2 < 1.5,dtype='int')
    
    plt.scatter(X[y==0,0],X[y==0,1],color='red')
    plt.scatter(X[y==1,0],X[y==1,1],color='blue')
    plt.show()

![1465169-20190907095955476-461550428.png][]

逻辑回归算法测试

from mylib.LogisticRegression import LogisticRegression
    
    log = LogisticRegression()
    log.fit(X,y)

算法正确率只有60%  
![1465169-20190907100017669-476490306.png][]

画出决策边界：  
![1465169-20190907100035369-339214267.png][]

可以看出，用线性分类来拟合此数据集是错误的

### 添加多项式，并使用管道 ###

from sklearn.pipeline import Pipeline
    from sklearn.preprocessing import PolynomialFeatures
    from sklearn.preprocessing import StandardScaler
    
    def PolynomialLogisticRegression(degree):
        return Pipeline([
            ('poly',PolynomialFeatures(degree=degree)),
            ('stand_scalor',StandardScaler()),
            ('log_reg',LogisticRegression())
        ])
    
    poly_log_reg = PolynomialLogisticRegression(2)
    poly_log_reg.fit(X,y)

***注意：管道中的逻辑回归是自己实现的，但是能准确的传递到管道中，这是因为我们是仿照scikit-learn的标准实现的***  
![1465169-20190907100103363-326571002.png][]  
添加多项式后，算法的准确率提高到了95%

决策边界：  
![1465169-20190907100136358-221259981.png][]

当多项式项为20时  
![1465169-20190907100150560-43517558.png][]

随着项数的增加，算法变得复杂，趋于过拟合，但为了得到复杂形状的决策边界，又不能过多的减小多项式项，此时，应该考虑模型的正则化，见下章。

转载于:https://www.cnblogs.com/shuai-long/p/11479343.html

[1465169-20190907095939214-2056100137.png]: /images/20230809/0d48263d648d4e4bb6633026947b125d.png
[1465169-20190907095955476-461550428.png]: /images/20230809/07a670cea8d8427ca787047bb2bbc439.png
[1465169-20190907100017669-476490306.png]: /images/20230809/8f1fcd4fda694b378cd4ea57f4378fba.png
[1465169-20190907100035369-339214267.png]: /images/20230809/71c812568fbb45b0806ac067f3de6ac3.png
[1465169-20190907100103363-326571002.png]: /images/20230809/845bbd44d5fa4dde874c0b6b7f835333.png
[1465169-20190907100136358-221259981.png]: /images/20230809/a131f8088b1746e5a022259cfbd210c7.png
[1465169-20190907100150560-43517558.png]: /images/20230809/dbc41971b2054889ab885cc8ecac9e2c.png