滑动平均

墨蓝 2022-03-10 02:44 258阅读 0赞

# 滑动平均 #

滑动平均（影子值）：记录了每个参数一段时间内过往值的平均，增加了模型了泛化性。

shadow\_variable = decay × shadow\_variable + （1-decay） × variable

其中：

shadow\_variable ：影子变量

variable：待更新的变量

decay：衰减率，衰减率决定了模型更新的速度

tensorFlow中的使用

import tensorflow as tf
    import os
    os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2"  # 忽略tensorflow警告信息
    
    MOVING_AVERAGE_DECAY = 0.99 #滑动衰减率为0.99，
    
    v1 = tf.Variable(0,dtype=tf.float32) #变量赋初值
    step = tf.Variable(0,trainable=False) #计数器
    
    #定义一个滑动平均的类
    ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,step)
    ema_op = ema.apply([v1]) #定义一个更新变量滑动平均的操作，这里给的是一个列表，每次执行，都会更新。
    
    with tf.Session() as sess:
        #初始化全部变量
        init_op = tf.global_variables_initializer()
        sess.run(init_op)
    
        #通过ema.average(v1)获得滑动平均后的变量的值
        print(sess.run([v1,ema.average(v1)]))
        #输出[0.0,0.0]
    
        #更新参数v1
        sess.run(tf.assign(v1,5))
        sess.run(ema_op) #执行一次更新
        print(sess.run([v1,ema.average(v1)]))
        #输出结果[5.0, 4.5]
    
        sess.run(ema_op)
        print(sess.run([v1, ema.average(v1)]))
        #输出结果：[5.0, 4.95]
    
        #更新step的值
        sess.run(tf.assign(step,10000))
        sess.run(tf.assign(v1,10))
        sess.run(ema_op)
        print(sess.run([v1,ema.average(v1)]))
        #输出[10.0, 5.0004997]
    
        sess.run(ema_op)
        print(sess.run([v1,ema.average(v1)]))
        #输出[10.0, 5.0504947]

在使用，经常使用一下结构

#（1）    
    ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step)
    #MOVING_AVERAGE_DECAY 衰减率
    #global_step 当前轮数
    #（2）
    ema_op = ema.apply([]) #填入待更新的参数，这里以列表的形式
    #（3）
    with tf.control_dependencies([train_step,ema_op]):
        train_op = tf.no_op(name='train')