特征缩放-数据标准化

曾经终败给现在 2022-02-16 00:09 277阅读 0赞

**在面对多维特征问题的时候，要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛**

**特征缩放思想: 确保这些特征都处在一个相近的范围  
特征缩放目的：将所有数字数据放在一个数量级上**

#### 直接求解的缺点 ####

• x（1）特征对应权重会比x（2）对应的权重小很多，降低模型可解释性  
• 梯度下降时，最终解被数值大的特征所主导，会影响模型精度与收敛速度  
• 正则化时会不平等看待特征的重要程度（尚未标准化就进行L1/L2正则化是错误的）

#### 常用的缩放方法： ####

1.规范化(归一化,Min-Max)特征缩放  
![归一化特征缩放][20190421090037186.png]  
通过对数据的每一个纬度值进行重新调节，使得最终的数据向量落在\[0,1\]区间内。  
适用场景：这种归一化方法比较适用数值比较集中的情况，在不涉及距离度量，协方差计算，数据不符合正态分布的时候，可以使用该方法。

2.标准化（z-score标准化）特征缩放  
![标准化特征缩放][20190421090110363.png]  
处理后的数据符合标准正态分布。  
适用场景：在分类，聚类算法中需要使用距离度量相似性的时候或者使用PCA（协方差分析）技术进行降维的时候，z-score标准化表现更好。

**其中μ是平均值，σ是标准差**  
**样本标准差公式(标准差是方差的算术平方根)**  
![样本标准差公式][20190421090212659.png]  
例：在处理自然图像时，我们获得的像素值在\[0,255\] 区间中，常用的处理是将这些像素值除以 255，使它们缩放到 \[0,1\]中

**这两种方法的适用场景为：**  
1.在不涉及距离度量、协方差计算、数据不符合正太分布的时候，可以使用第一种方法或其他归一化方法。  
2.在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，第二种方法(Z-score standardization)表现更好。

例如多变量线性回归，多项式线性回归可使用特征缩放，其代码和单变量线性回归类似，只是训练集数据需要特征缩放

##### 特征缩放Python代码实现： #####

# 标准特征缩放
    mean = np.mean(train_x, 0)  # 求平均值
    sigma = np.std(train_x, 0, ddof=1)  # 标准差，ddof=1
    train_x = (train_x - mean)/sigma   # 标准特征缩放

# 归一化特征缩放
    min_x = np.min(train_x, 0)  # 按列获取最小值
    max_x = np.max(train_x, 0)  # 按列获取最大值
    train_x = (train_x - min_x)/(max_x - min_x)     #归一化特征缩放

**train\_x表示训练集数据（特征），特征缩放放在数据拼接之前**

[20190421090037186.png]: /images/20220216/c18211ab147f4a2fa50cd2700a940078.png
[20190421090110363.png]: /images/20220216/fdb8f692d68d43148083af008ac9c26f.png
[20190421090212659.png]: /images/20220216/5b6e1511cbbe40748356e96a2ac65891.png