【机器学习】特征工程：特征预处理，归一化、标准化、处理缺失值

朱雀 2024-02-17 08:44 104阅读 0赞

特征预处理采用的是特定的统计方法（数学方法）将数据转化为算法要求的数字

##### **1. 数值型数据** #####

**归一化**，将原始数据变换到\[0,1\]之间

**标准化**，数据转化到均值为0，方差为1的范围内

**缺失值**，缺失值处理成均值、中位数等

##### **2. 类别型数据** #####

**降维**，多指标转化为少数几个综合指标，去掉关联性不大的指标

**PCA**，降维的一种

##### **3. 时间类别** #####

时间的切分

--------------------

### **1. 归一化** ###

归一化是在特征(维度)非常多的时候，可以**防止某一维或某几维对数据影响过大**，也是为了**把不同来源的数据统一到一个参考区间下**，这样比较起来才有意义。其次可以让程序更快地运行。

例如，一个人的身高和体重两个特征，假如体重50kg，身高175cm，由于两个单位不一样，数值大小不一样。如果比较两个人的体型差距时，那么身高的影响结果会比较大，因此在做计算之前需要先进行归一化操作。

##### **归一化的公式为：** #####

![x^\{'\} = \\frac\{x-min\}\{max-min\}][x_ _ _frac_x-min_max-min] ![x^\{''\} = x^\{'\}\*(mx-mi)+mi][x_ _ x_mx-mi_mi]

式中，**max** 和 **min** 分别代表某列中的最大值和最小值；**x** 为归一化之前的值；**x''** 为归一化后的结果；**mx** 和 **mi** 为要归一化的区间，默认是 **\[0,1\]**，即mx=1，mi=0

**在 sklearn 中的实现，导入方法： from sklearn.preprocessing import MinMaxScaler**

**归一化方法： scaler.fit\_transform()**

# 自定义数据
    data = [[180,75,25],[175,80,19],[159,50,40],[160,60,32]]
    # 导入归一化方法
    from sklearn.preprocessing import MinMaxScaler
    # 接收该方法
    # scaler = MinMaxScaler(feature_range=(0,2)) #指定归一化区间
    scaler = MinMaxScaler()
    # 将数据传入归一化方法，产生返回值列表类型
    result = scaler.fit_transform(data)

可以在归一化方法 **MinMaxScaler()** 中加入参数**feature\_range=( , )** 来指定归一化范围，默认\[0,1\]。

![4853c6b4935c40cd953de4a6d0e96abf.png][]

##### **归一化的优缺点：** #####

归一化非常容易**受到最大值和最小值的影响**，因此，如果数据集中存在一些异常点，结果将发生很大改变，因此这种方法的**鲁棒性(稳定性)很差**。只适合数据量比较精确，比较小的情况。

--------------------

### **2. 标准化** ###

为了防止某一特征对结果影响太大，将每一个特征(每一列)都进行标准化处理，常用的方法是 z-score 标准化，处理后的数据**均值为0**，**标准差为1**，**满足标准正态分布**。标准正态分布图如下：

![b8620fc16966cdf0130255a0cce50e01.png][]

##### **标准化公式：** #####

![x^\{'\}=(x-\\mu )/\\sigma][x_x-_mu _sigma]

其中，![\\mu][mu] 是**样本均值**，![\\sigma][sigma] 是**样本标准差**，它们可以通过现有的样本进行估计，在已有的样本足够多的情况下比较稳定，不受样本最大值和最小值的影响，适合嘈杂的数据场景。

标准差的求法是先求方差，**方差 std** 的求法如下，n为每个特征的样本数。

![std = \\frac\{(\\,(x1-mean)^\{2\}+(x2-mean)^\{2\}+...+(xn-mean)^\{2\}\\,)\}\{n\}][std _ _frac_x1-mean_2_x2-mean_2_..._xn-mean_2_n]

**标准差**为方差开根号

![\\sigma =\\sqrt\{std\}][sigma _sqrt_std]

方差和标准差越趋近于0，则表示数据越集中；如果越大，表示数据越离散。

**在 sklearn 中实现，导入方法： from sklearn.preprocessing import StandardScaler**

**标准化方法： scaler.fit\_transform()**

# 自定义数据
    data = [[180,75,25],[175,80,19],[159,50,40],[160,60,32]]
    # 导入标准化
    from sklearn.preprocessing import StandardScaler
    # 接收标准化
    scaler = StandardScaler()
    # 将数据传入标准化方法产生返回值是列表类型
    result = scaler.fit_transform(data)

![b6e6ebb002af4eea81d58dc689c3f984.png][]

--------------------

### **3. 缺失值处理** ###

缺失值一般有两种处理方法，第一种是直接进行删除，第二种是进行替换。除非缺失值占总数据集的比例非常少，才推荐使用删除的方式，否则**建议使用****平均值****、****中位数****的方式进行替换**。

在sklearn中有专门的缺失值处理方式，**from sklearn.impute import SimpleImputer**

##### **处理方法** **SimpleImputer()** **参数设置：** #####

**missing\_values****：** 数据中的哪些值视为缺失值。默认missing\_values=nan，把数据中的nan当作缺失值

**strategy****：** 替换缺失值的策略，默认strategy=**'mean'**，使用平均值替换，可选**'median'**中位数，**'most\_frequent'**众数，**'constant'**常数项。

注意：这里的均值众数等都是该缺失值所在特征**列上的均值众数**。

**fill\_value：**只有当指定 **strategy='constant'** 时才使用，用于指定一个常数，默认fill\_value=None

# 处理缺失值
    # 自定义数据
    import numpy as np
    data = [[1,2],[np.nan,4],[9,1]]
    # 导入缺失值处理方法
    from sklearn.impute import SimpleImputer
    # 接收方法
    si = SimpleImputer()
    # 传入原始数据
    result = si.fit_transform(data)

使用默认值修改缺失值，用平均值替换nan

![968a9836ac5f4f9b8cae588c348be0ea.png][]

[x_ _ _frac_x-min_max-min]: https://latex.csdn.net/eq?x%5E%7B%27%7D%20%3D%20%5Cfrac%7Bx-min%7D%7Bmax-min%7D
[x_ _ x_mx-mi_mi]: https://latex.csdn.net/eq?x%5E%7B%27%27%7D%20%3D%20x%5E%7B%27%7D*%28mx-mi%29&plus;mi
[4853c6b4935c40cd953de4a6d0e96abf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/22e5a370dfdb4f17b1def35ff00a8dd4.png
[b8620fc16966cdf0130255a0cce50e01.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/13df32dc9fca479e8e700098e07b80f0.png
[x_x-_mu _sigma]: https://latex.csdn.net/eq?x%5E%7B%27%7D%3D%28x-%5Cmu%20%29/%5Csigma
[mu]: https://latex.csdn.net/eq?%5Cmu
[sigma]: https://latex.csdn.net/eq?%5Csigma
[std _ _frac_x1-mean_2_x2-mean_2_..._xn-mean_2_n]: https://latex.csdn.net/eq?std%20%3D%20%5Cfrac%7B%28%5C%2C%28x1-mean%29%5E%7B2%7D&plus;%28x2-mean%29%5E%7B2%7D&plus;...&plus;%28xn-mean%29%5E%7B2%7D%5C%2C%29%7D%7Bn%7D
[sigma _sqrt_std]: https://latex.csdn.net/eq?%5Csigma%20%3D%5Csqrt%7Bstd%7D
[b6e6ebb002af4eea81d58dc689c3f984.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/e1c35077a81a4cb9b9c41a0dba2b9cbf.png
[968a9836ac5f4f9b8cae588c348be0ea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/aefaf20a49f74bbb9ac215e305e747a6.png