两种归一化的对比（标准化 VS 缩放），都会改变数据分布！

傷城~ 2022-12-13 04:56 190阅读 0赞

# 一，标准化 #

即把一个向量的均值和标准差算出来，然后每一个分量都减去均值再除以标准差，得到的就是归一化之后的结果。

归一化之后的数据有正有负，服从均值为0方差为1的标准正态分布。

python实现函数：

def standardization(data):
        mu = np.mean(data, axis=0)
        sigma = np.std(data, axis=0)
        return (data - mu) / sigma

其实一般机器学习中，把数据送入分类器比如SVM或者神经网络之前，都要对提取好的特征做标准化，虽然论文说的是normalization，但是其实做的是standardization。

## 实验 ##

*  在matlab中生成一组正态分布的随机数

a = random('Normal', 3,3, [1, 100]);%均值为3，标准差为3,1行100列
    figure,plot(a,'b'),hold on
    b = (a - mean(a))/std(a,0,2);%std(a,0,2)对于行向量求标准差，其实就是b=(a-3)/3
    plot(b,'r')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center]  
可以看到，数据原来的分布和标准化之后的是不一样的。标准化之后就是标准正态分布

*  但是上面的实验只可以肉眼看到俩分布不一样，下面我们绘制出其概率密度分布曲线，能够非常明显的看到二者的分布区别：

clear all;close all;clc
    a = random('Normal',10,5, [1, 1000]);
    figure,plot(a,'b'),hold on
    b = (a - mean(a))/std(a,0,2);%std(a,0,2)对于行向量求标准差
    plot(b,'r')
    figure,[f,xi] = ksdensity(a);
    plot(xi,f);hold on
    [f1,xi1] = ksdensity(b);
    plot(xi1,f1);

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 2]  
黄色的是标准化以后的标准正太分布，而蓝色是之前的数据的分布。

*  还可以用其他方式观察出二者分布的区别，比如下面的normplot函数，没有深入了解，只知道如果是正态分布会呈现一条直线，蓝色加号是数据点，所以两个分布都是正态分布，但是俩直线并不重合可见分布不一样。

clear all;close all;clc
    x = -1:.01:1;
    a = random('Normal',1,5, [201, 1]);
    figure,plot(x,a,'b'),hold on
    b = (a - mean(a))/std(a,0,1);%std(a,0,2)对于行向量求标准差
    plot(x,b,'r')
    figure,normplot(a);hold on
    normplot(b);

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 3]

## 结论：归一化前后，数据分布不同 ##

# 二，缩放 #

先找到这个向量的最大值和最小值，以求出数据范围，然后把每一个分量减去最小值再除以范围，即把所有分量放到0-1的一个范围中，分布和原来也不一样！！！！

python实现函数：

# 缩放到[0,1]
    def normalization(data):
        _range = np.max(data) - np.min(data)
        return (data - np.min(data)) / _range
        
    # 缩放到[-1,1]
    def normalization(data):
        _range = np.max(abs(data))
        return data / _range

## 实验 ##

clear all;close all;clc
    a = random('Normal',10,5, [1, 1000]);
    figure,plot(a,'b'),hold on
    range = max(a)-min(a);
    b = (a - min(a))/range;%归一化
    plot(b,'r')
    figure,[f,xi] = ksdensity(a);
    plot(xi,f);hold on
    [f1,xi1] = ksdensity(b);
    plot(xi1,f1);

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 5]

## 结论：数据分布和原来也不一样！ ##

# 总结：尽量用标准化而非缩放 #

这么一看，还是标准化好用，不管什么数据都标准化为正态分布，毕竟正态分布大多数时候比较吃香，而缩放这种形式把数据分布改变了，而且目标分布不是统一的，太不好掌控了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/5ffd41881d1e4708a52d297ca7494cb0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/b25b4045828540f281ea48fc7a957a88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/b79a787ba9844a3bb180085703f95a0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/5e896e2d86ec40cdad03f613406e67ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/2b82b5190e1142e38322e2b9fd998208.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/02f7d71d58df47eda181d9a88b91ccd8.png