机器学习好伙伴之scikit-learn的使用——Normalization标准化

傷城~ 2024-04-18 10:36 62阅读 0赞

### 机器学习好伙伴之scikit-learn的使用——Normalization标准化 ###

*  什么是标准化
 *  sklearn中标准化的实现
 *   *  利用scale计算零均值单位方差
     *  利用MinMaxScaler进行最小最大值标准化
 *  应用示例

在进行训练与测试的时候，需要对数据进行标准化，提高准确度。  
![在这里插入图片描述][20190723133055850.jpg_pic_center]

# 什么是标准化 #

数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。其目的是去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。  
其中最典型的就是数据的归一化处理，即将数据统一映射到\[0,1\]区间上。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]  
归一化有许多好处，如上图所示，如果不对数据进行标准化便直接训练，由于x1、x2的数量级相差巨大，训练效率低且训练过程曲折，训练效果差。进行标准化后的数据用于训练时，便符合上图中的右边图像。  
因此，标准化的好处有：  
1、提升模型的收敛速度  
2、提升模型的精度  
3、深度学习中数据归一化可以防止模型梯度爆炸。

# sklearn中标准化的实现 #

在sklearn中使用标准化，首先要载入对应模块

from sklearn import preprocessing

## 利用scale计算零均值单位方差 ##

该方法通过调用如下函数实现。

preprocessing.scale()

在函数内完成的计算过程为：

(X_train[:,0]-X_train[:,0].mean())/X_train[:,0].std()

本文通过如下代码验证preprocessing.scale()的作用：

a = np.array([[1,2,3],
                  [2,3,4],
                  [5,6,7]],dtype = np.float64)
    print(a)
    print(preprocessing.scale(a))
    print((a[:,0]-a[:,0].mean())/a[:,0].std())

实验结果为：

a =  [[1. 2. 3.]
     	  [2. 3. 4.]
     	  [5. 6. 7.]]
    preprocessing.scale(a) =  [[-0.98058068 -0.98058068 -0.98058068]
     						   [-0.39223227 -0.39223227 -0.39223227]
     						   [ 1.37281295  1.37281295  1.37281295]]
    (a[:,0]-a[:,0].mean())/a[:,0].std() =  [-0.98058068 -0.39223227  1.37281295]

## 利用MinMaxScaler进行最小最大值标准化 ##

该方法通过调用如下函数实现。

min_max_scaler = preprocessing.MinMaxScaler()
    min_max_scaler.fit_transform()

在函数内完成的计算过程为：

(X_train[:,0]-X_train[:,0].min())/(X_train[:,0].max()-X_train[:,0].min())

本文通过如下代码验证MinMaxScaler的作用：

a = np.array([[1,1,1],
                  [2,3,4],
                  [5,5,5]],dtype = np.float64)
    min_max_scaler = preprocessing.MinMaxScaler()
    print("a = ",a)
    print("min_max_scaler.fit_transform(a) = ", min_max_scaler.fit_transform(a))
    print("(a[:,0]-a[:,0].min())/(a[:,0].max()-a[:,0].min()) = ",(a[:,0]-a[:,0].min())/(a[:,0].max()-a[:,0].min()))

实验结果为：

a =  [[1. 1. 1.]
     	  [2. 3. 4.]
     	  [5. 5. 5.]]
    min_max_scaler.fit_transform(a) =  [[0.   0.   0.  ]
     									[0.25 0.5  0.75]
     									[1.   1.   1.  ]]
    (a[:,0]-a[:,0].min())/(a[:,0].max()-a[:,0].min()) =  [0.   0.25 1.  ]

# 应用示例 #

本段代码会验证标准化对于实验准确性的影响。  
实现代码为：

from sklearn import preprocessing
    # 将资料分割成train与test的模块
    from sklearn.model_selection import train_test_split
    # 生成适合做classification资料的模块
    from sklearn.datasets.samples_generator import make_classification 
    # Support Vector Machine中的Support Vector Classifier
    from sklearn.svm import SVC 
    # 可视化数据的模块
    import matplotlib.pyplot as plt 
    import numpy as np
    
    # 生成具有2种属性的300笔数据
    X, y = make_classification(
        n_samples=300, n_features=2,
        n_redundant=0, n_informative=2, 
        random_state=22, n_clusters_per_class=1, 
        scale=100)
    
    # 可视化数据
    plt.scatter(X[:, 0], X[:, 1], c=y)
    
    # 该部分并未标准化，准确率较低
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
    clf = SVC()
    clf.fit(X_train, y_train)
    print(clf.score(X_test, y_test))
    
    # 该部分进行了标准化，准确率较高
    min_max_scaler = preprocessing.MinMaxScaler()
    X = min_max_scaler.fit_transform(X)
    #X = preprocessing.scale(X)
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
    clf = SVC()
    clf.fit(X_train, y_train)
    print(clf.score(X_test, y_test))
    
    plt.show()

0.5111111111111111
    0.8888888888888888

[20190723133055850.jpg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/edfb1409285e490e8bc3d8a7c4aca9b4.jpg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/fab44de397b446bab318323951bcda34.png