mxnet各种归一化：batch norm, l2 norm和mxnet.nd.L2Normalization

男娘i 2023-01-20 12:58 18阅读 0赞

mx.nd.BatchNorm 类似于在一个batch里面对样本减均值、除方差。  
mx.nd.L2Normalization 对向量进行归一化：每一行向量中的每个元素除以向量的模长。变成长度为1、带有方向的单位向量。  
mx.nd.norm 用于沿指定axis求范数，默认求整个矩阵的L2范数，变成一个值（标量）。（L2范数）对应欧式距离。  
nd.L2Normalization(a,mode=‘instance’)

# nd.L2Normalization(a,mode='instance') 是对每个样本（向量，每一行）分别进行L2归一化,就是每一行向量中的每个元素除以向量的模长
    a
    Out[20]: 
    [[1. 2.]
     [3. 4.]]
    <NDArray 2x2 @cpu(0)>
    nd.L2Normalization(a,mode='instance')
    Out[21]: 
    [[0.4472136 0.8944272]
     [0.6       0.8      ]]
    <NDArray 2x2 @cpu(0)>
    # 对于地一个样本：[1,2]，就相当于
    1/np.sqrt(1*1+2*2)
    Out[22]: 0.4472135954999579
    2/np.sqrt(1*1+2*2)
    Out[23]: 0.8944271909999159
    # 第二个样本依次类推

求两个向量差的L2范数，也就是求欧氏距离：

The input F is an mxnet.ndarry or an mxnet.symbol if we hybridize the network. Gluon’s Loss base class is in fact a HybridBlock. This means we can either run imperatively or symbolically. When we hybridize our custom loss function, we can get performance speedups.

F就当作是mxnet.nd吧，当然也可以是symbol，这就是hybridize的奥义？？

margin=6  
distances\_squared = F.sum(F.square(distances), 1, keepdims=True)  
euclidean\_distances = F.sqrt(distances\_squared + 0.0001)  
d = F.clip(margin - euclidean\_distances, 0, margin)

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关 Batch Norm常用方法

在运用一些机器学习算法的时候不可避免地要对数据进行特征缩放（feature scaling），比如：在随机梯度下降（stochastic gradient descent）算法

本是古典何须时尚/ 2023年01月22日 13:59/ 0 赞/ 4 阅读

相关 mxnet各种归一化：batch norm, l2 norm和mxnet.nd.L2Normalization

mx.nd.BatchNorm 类似于在一个batch里面对样本减均值、除方差。 mx.nd.L2Normalization 对向量进行归一化：每一行向量中的每个元素除以向

男娘i/ 2023年01月20日 12:58/ 0 赞/ 19 阅读

相关 l2_norm c++代码实现

解决：L2范数归一化就是向量中每个元素除以向量的L2范数 L2范数是什么？ L2范数的定义其实是一个数学概念，其定义如下： ![SouthEast][] 比如有数

川长思鸟来/ 2023年01月20日 06:54/ 0 赞/ 6 阅读

相关 40_pytorch Batch Norm

1.37.Batch Normalization,批规范化 1.37.1.Batch Norm介绍 1.37.2.Intuitive explanation 1.3

骑猪看日落/ 2022年10月30日 04:27/ 0 赞/ 198 阅读

相关 BN（Batch Normalization）：批量归一化

现在的神经网络通常都特别深，在输出层像输入层传播导数的过程中，梯度很容易被激活函数或是权重以指数级的规模缩小或放大，从而产生“梯度消失”或“梯度爆炸”的现象，造成训练速度下降和

港控/mmm°/ 2022年10月09日 06:27/ 0 赞/ 189 阅读

相关 linalg.norm

python numpy的： import numpy as np np.linalg.norm `>>> x``=` `np.array([``3``,``4``])`

爱被打了一巴掌/ 2022年09月04日 12:52/ 0 赞/ 142 阅读

相关 2、Batch Normalization

Batch Normalization是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Trai

柔光的暖阳◎/ 2022年08月31日 04:47/ 0 赞/ 212 阅读

相关 l0-Norm, l1-Norm, l2-Norm, … , l-infinity Norm

原文链接：[http://blog.csdn.net/u011650143/article/details/54695180][http_blog.csdn.net_u0116

Love The Way You Lie/ 2022年06月06日 11:44/ 0 赞/ 235 阅读

相关深度学习：批归一化和层归一化Batch Normalization、Layer Normalization

深度神经网络模型训练难，其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 自 2015 年由Google 提出之

分手后的思念是犯贱/ 2021年12月09日 19:37/ 0 赞/ 1516 阅读

相关 norm()函数

`n = norm(v)` 返回向量 `v` 的欧几里德范数。此范数也称为 2-范数、向量模或欧几里德长度。例1： K>> norm(\[3 4\]) ans = 5

偏执的太偏执、/ 2021年11月05日 03:01/ 0 赞/ 317 阅读