神经网络学习小记录31——l1、l2标准化及其python代码实现

一时失言乱红尘 2023-06-23 13:27 5阅读 0赞

### 神经网络学习小记录31——l1、l2标准化及其python代码实现 ###

*  学习前言
 *  什么是l1、l2标准化
 *   *  1、范数
     *  2、l1标准化和l2标准化
 *  python代码实现

# 学习前言 #

最近看了一下facenet，发现自己居然连l2标准化都不知道，写篇文章水一下。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]

# 什么是l1、l2标准化 #

## 1、范数 ##

我们需要知道的范数主要是两种：

1-范数：  
 ∣ ∣ x ∣ ∣ 1 = ∑ i = 1 N ∣ x i ∣ ||x||\_1 = \\sum\_\{i=1\}^N|x\_i| ∣∣x∣∣1=∑i=1N∣xi∣，即向量元素绝对值之和 。

2-范数：  
 ∣ ∣ x ∣ ∣ 2 = ∑ i = 1 N x i 2 ||\\textbf\{x\}||\_2 =\\sqrt\{\\sum\_\{i=1\}^Nx\_i^2\} ∣∣x∣∣2=∑i=1Nxi2，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方。

## 2、l1标准化和l2标准化 ##

其实概念并不复杂，实际上是：

L1标准化：每个元素/L1范数；  
L2标准化：每个元素/L2范数；

# python代码实现 #

import numpy as np
    #---------------------------------#
    #   l1标准化
    #---------------------------------#
    def l1_normalize(x, epsilon=1e-10):
        output = x / np.maximum(np.sum(np.abs(x)),epsilon)
        return output
    #---------------------------------#
    #   l2标准化
    #---------------------------------#
    def l2_normalize(x, axis=-1, epsilon=1e-10):
        output = x / np.sqrt(np.maximum(np.sum(np.square(x), axis=axis, keepdims=True),epsilon))
        return output
    
    a = np.arange(12).reshape([1,3,4])
    l1 = l1_normalize(a)
    l2 = l2_normalize(a,(1,2))
    print(a,"\n")
    print(l1,"\n")
    print(l2,"\n")

结果如下：

[[[ 0  1  2  3]
      [ 4  5  6  7]
      [ 8  9 10 11]]] 
    
    [[[0.         0.01515152 0.03030303 0.04545455]
      [0.06060606 0.07575758 0.09090909 0.10606061]
      [0.12121212 0.13636364 0.15151515 0.16666667]]]
    
    [[[0.         0.04445542 0.08891084 0.13336627]
      [0.17782169 0.22227711 0.26673253 0.31118796]
      [0.35564338 0.4000988  0.44455422 0.48900965]]]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20190723144346254.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA==,size_16,color_FFFFFF,t_70#pic_center