【机器学习】特征工程—— 特征预处理

今天药忘吃喽~ 2022-12-23 09:56 278阅读 0赞

## 特征工程 ##

定义：将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对未知数据的预测准确性。  
内容：主要有三部分：  
　　**1、特征抽取  
　　2、特征预处理  
　　3、数据的降维**

## 特征预处理 ##

特征预处理：通过特定的统计方法（数学方法）将数据转换成算法要求的数据。

1、包含内容

*  **数值型数据：标准缩放，包括归一化、标准化、缺失值**
 *  类别型数据：one—hot编码
 *  时间类型：时间的切分

2、sklearn特征处理API：

> **sklearn.preprocessing**

### 一、归一化 ###

#### 1、特点 ####

通过对原始数据进行变换把数据映射到\[0, 1\]（默认）之间

#### 2、公式 ####

x ′ = x − m i n m a x − m i n x'=\\frac\{x-min\}\{max-min\} x′=max−minx−min  x ′ ′ = x ′ ( m x − m i ) + m i x''=x'(mx-mi)+mi x′′=x′(mx−mi)\+mi

作用于每一列，max为一列的最大值，min为一列的最小值，那么x’'为最终结果，mx，mi分别为指定区间值默认mx为1，mi为0。

#### 3、目的 ####

使得某一个特征对最终结果不会造成太大影响

#### 4、缺点 ####

**当有异常点时，对最大值最小值影响太大，所以这种方法的鲁棒性较差，只适合传统精确小数据场景。**

#### 5、sklearn归一化API ####

> sklearn.preprocessing.MinMaxScaler
> 
>  *  **MinMaxScaler(feature\_range=(0, 1)…)**: 每个特征缩放到给定范围（默认\[0, 1\]）
>  *  **MinMaxScaler.fit\_transform(x)**:  
>     x：numpy array格式的数据\[n\_samples, n\_features\]  
>     返回值：转换后的形状相同的array

#### 6、归一化步骤： ####

1.  实例化MinMaxScaler 。
2.  通过fit\_transform转换。

from sklearn.preprocessing import MinMaxScaler
    
    # 归一化处理
    def mm():
        mm = MinMaxScaler()
        data = mm.fit_transform([[90, 2, 10, 40], [60, 4, 15, 45], [75, 3, 13, 46]])
        print(data)
        return None
    
    if __name__ == "__main__":
        mm()

### 二、标准化 ###

#### 1、特点 ####

通过对原始数据进行变换把数据变换到**均值为0，方差为1**范围内。

#### 2、公式 ####

x ′ = x − m e a n σ x'=\\frac\{x-mean\}\{\\sigma\} x′=σx−mean  v a r = ( x 1 − m e a n ) 2 + ( x 2 − m e a n ) 2 + . . . n ( 每 个 特 征 的 样 本 数 ) var=\\frac\{(x\_1-mean)^2+(x\_2-mean)^2+...\}\{n(每个特征的样本数)\} var=n(每个特征的样本数)(x1−mean)2\+(x2−mean)2\+...  σ = v a r \\sigma=\\sqrt\{var\} σ=var  
作用于每一列，mean为平均值， σ \\sigma σ为标准差，var为方差。其中，方差考量数据的稳定性。

#### 3、sklearn特征化API ####

> scikit-learn.preprocessing.StandardScaler
> 
>  *  StandardScaler(…): 处理之后对每列来说所有数据都聚集在均值0附近标准差为1
>  *  StandardScaler.fit\_transform(x)：  
>     x：numpy array格式的数据\[n\_samples, n\_features\]  
>     返回值：转换后的形状相同的array
>  *  StandardScaler.mean\_：原始数据中每列特征的平均值
>  *  StandardScaler.std\_: 原始数据每列特征的方差

#### 4、总结：在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景 ####

#### 5、归一化与标准化对比 ####

对于**归一化**来说：**如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变。**  
对于**标准化**来说：**如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。**

#### 6、标准化步骤 ####

1.  实例化StandardScaler。
2.  通过fit\_transform转换。

from sklearn.preprocessing import StandardScaler
    
    # 标准化缩放
    def stand():
        std = StandardScaler()
        data = std.fit_transform([[1., -1., 3.], [2., 4., 2.], [4., 6., -1.]])
        print(data)
        return None
    
    if __name__ == "__main__":
        stand()

### 三、缺失值 ###

如何处理数据中的缺失值？  
**1、删除：如果每行或者每列数据缺失值达到一定比例，建议放弃整行或者整列。  
2、插补：可以通过缺失值每行或者每列的平均值、中位数来填充。**

> sklearn缺失值API：  
> sklearn.preprocessing.Imputer Imputer语法：
> 
>  *  Imputer(missing\_values=‘NaN’, strategy=‘mean’, axis=0): 完成缺失值插补
>  *  Imputer.fit\_transform(x)  
>     x: numpy array格式的数据\[n\_samples, n\_features\]  
>     返回值：转换后的形状相同的array

from sklearn.impute import SimpleImputer
    import numpy as np
    
    # 缺失值处理
    def im():
        im = SimpleImputer(missing_values=np.nan, strategy='mean')
        data = im.fit_transform([[1, 2], [np.nan, 3], [7, 6]])
        print(data)
        return None
    
    if __name__ == "__main__":
        im()