Tensorflow中ExponentialMovingAverage的原理及用法

怼烎@ 2022-05-23 01:56 228阅读 0赞

整理自以下两篇博客：

1）. [tensorflow ExponentialMovingAverage][]

2）. [Tensorflow深度学习之九：滑动平均模型][Tensorflow]

**一. 滑动平均的作用ExponentialMovingAverage（）**

滑动平均模型的作用是提高测试值上的健壮性。那它是如何实现这个功能的呢？其实滑动平均模型的原理就是一阶滞后滤波法，其表达式如下：

*n**e**w*\_*v**a**l**u**e*=(1−*a*)×*v**a**l**u**e*\+*a*×*o**l**d*\_*v**a**l**u**e*new\_value=(1−a)×value+a×old\_value

其中a的取值范围\[0,1\]，具体就是：本次滤波结果=(1-a)本次采样值+a上次滤波结果，采用此算法的目的是：  
1、降低周期性的干扰；

2、在波动频率较高的场合有很好的效果。

**二. Tensorflow中的ExponentialMovingAverage()**

假如我们训练模型迭代了100K，每2K步保存一个snapshot。在evaluation时， 我们可以只使用最后得到的model-100K，也可以通过cross validation选出一最佳的model，如model-98K。 但Googlers发现([https://www.tensorflow.org/versions/r1.0/api\_docs/python/tf/train/ExponentialMovingAverage][https_www.tensorflow.org_versions_r1.0_api_docs_python_tf_train_ExponentialMovingAverage])：

> When training a model, it is **often beneficial** to maintain moving averages of the trained parameters. Evaluations that use averaged parameters **sometimes** produce **significantly better** results than the final trained values.

大概意思是对模型参数进行平均得到的模型往往比单个模型的结果要好很多，注意，他们使用了`significantly better`这个修饰， 虽然前边还有个`sometimes`.

于是， tensorflow里就有了`tf.train.ExponentialMovingAverage（decay, num_updates=None, name='ExponentialMovingAverage'``）`这个接口。decay一般设置为非常接近1的数，比如0.9999，为了在初期快速的更新，可以设置num\_updates，比如num\_updates=global\_step，那么dacay将会根据如下公式选择decay值：

min(decay, (1 + num\_updates) / (10 + num\_updates))

如果不设置num\_updates,那么decay将为一个固定的值。

# 在training时使用 #

文档中的例子：

# Create variables.
    var0 = tf.Variable(...)
    var1 = tf.Variable(...)
    # ... use the variables to build a training model...
    
    # Create an op that applies the optimizer.  This is what we usually
    # would use as a training op.
    opt_op = opt.minimize(my_loss, [var0, var1])
    
    # Create an ExponentialMovingAverage object
    ema = tf.train.ExponentialMovingAverage(decay=0.9999)
    
    # Create the shadow variables, and add ops to maintain moving averages of var0 and var1.
    maintain_averages_op = ema.apply([var0, var1])
    
    # Create an op that will update the moving averages after each training step.  # This is what we will use in place of the usual training op.
    with tf.control_dependencies([opt_op]):
        training_op = tf.group(maintain_averages_op)
    
    #...train the model by running training_op...

*  上面的例子中用到了tf.control\_dependencies()，它的作用如下所示，也就是说用来控制计算流图的，给图中的某些计算指定顺序。更多可以参考[control\_dependencies()][control_dependencies]
 *      with g.control_dependencies([a, b, c]):
          # `d` and `e` will only run after `a`, `b`, and `c` have executed.
          d = ...
          e = ...

这个例子体现出使用MovingAverage的三个要素。  
1. 指定`decay`参数创建实例：  
`ema = tf.train.ExponentialMovingAverage(decay=0.9999)`  
2. 对模型变量使用`apply`方法：  
`maintain_averages_op = ema.apply([var0, var1])`  
3. 在优化方法使用梯度更新模型参数后执行MovingAverage：

with tf.control_dependencies([opt_op]):
        training_op = tf.group(maintain_averages_op)

其中，`tf.group`将传入的操作捆绑成一个操作，详细可参考[文档][Link 1]。

# 原理：影子变量与decay #

`apply`方法会为每个变量（也可以指定特定变量）创建各自的`shadow variable`， 即影子变量。之所以叫影子变量，是因为它会全程跟随训练中的模型变量。影子变量会被初始化为模型变量的值，然后，每训练一个step，就更新一次。更新的方式为：

shadow_variable = decay * shadow_variable + (1 - decay) * updated_model_variable

`decay`的值一般很接近于1，例如`0.999, 0.9999`。很明显， 这个操作会增加模型在训练过程中的稳定性。

还有一点值得指出——创建`tf.train.ExponentialMovingAverage`实例时还可以传入`num_updates`参数，一般使用`global_step`的值：

ema = tf.train.ExponentialMovingAverage(decay=0.9999， num_updates = tf_global_step)

它的作用让`decay`变成动态的，训练前期的值小，后期的值大。因为这时真实decay的计算方式为：

decay = min(decay, (1 + num_updates) / (10 + num_updates))

# Restore from checkpoint #

训练时若使用了`ExponentialMovingAverage`，在保存checkpoint时，不仅仅会保存模型参数，优化器参数（如Momentum）， 还会保存`ExponentialMovingAverage`的`shadow variable`。  
之前，我们可以直接使用以下代码restore模型参数， 但不会利用`ExponentialMovingAverage`的结果：

saver = tf.Saver()
    saver.restore(sess, save_path)

若要使用`ExponentialMovingAverage`保存的参数：

variables_to_restore = ema.variables_to_restore()
    saver = tf.train.Saver(variables_to_restore)
    saver.restore(sess, save_path)

当然，还有其他方式可以实现同样的效果。  
写了一个完整的[可运行demo][demo], tensorflow r1.1.0。  
看看它的输出就一目了然了（字符串是变量名，数字是对应的变量值），两者加载的变量值是不同的：

variables in checkpoint:
        bias/ExponentialMovingAverage 0.664593
        bias/Momentum 4.12663
        weight [[ 0.01567289]
     [ 0.17180483]]
        weight/ExponentialMovingAverage [[ 0.10421171]
     [ 0.26470858]]
        weight/Momentum [[ 5.95625305]
     [ 6.24084663]]
        bias 0.602739
    
    ==============================================
    variables restored not from ExponentialMovingAverage:
        weight:0 [[ 0.01567289]
     [ 0.17180483]]
        bias:0 0.602739
    
    ==============================================
    variables restored from ExponentialMovingAverage:
        weight:0 [[ 0.10421171]
     [ 0.26470858]]
        bias:0 0.664593

[tensorflow ExponentialMovingAverage]: https://blog.csdn.net/weixin_35653315/article/details/74632110
[Tensorflow]: https://blog.csdn.net/DaVinciL/article/details/75939466
[https_www.tensorflow.org_versions_r1.0_api_docs_python_tf_train_ExponentialMovingAverage]: https://www.tensorflow.org/versions/r1.0/api_docs/python/tf/train/ExponentialMovingAverage
[control_dependencies]: http://yanjoy.win/2017/04/18/tfcond/
[Link 1]: https://www.tensorflow.org/api_docs/python/tf/group
[demo]: https://code.csdn.net/snippets/2473905