Tensorflow基础：tf.train.exponential_decay (指数衰减法)

不念不忘少年蓝@ 2022-02-19 11:13 337阅读 0赞

在神经网络的训练过程中，学习率(learning rate)控制着参数的更新速度，  
tf.train类下面的五种不同的学习速率的衰减方法。

tf.train.exponential_decay
    tf.train.inverse_time_decay
    tf.train.natural_exp_decay
    tf.train.piecewise_constant
    tf.train.polynomial_decay

下面是通过 tf.train.exponential\_decay函数实现指数衰减学习率。

步骤：  
1.首先使用较大学习率(目的：为快速得到一个比较优的解);  
2.然后通过迭代逐步减小学习率(目的：为使模型在训练后期更加稳定);

tf.train.exponential_decay(
        learning_rate,初始学习率
        global_step,当前迭代次数
        decay_steps,衰减速度（在迭代到该次数时学习率衰减为earning_rate * decay_rate）
        decay_rate,学习率衰减系数，通常介于0-1之间。
        staircase=False,(默认值为False,当为True时，（global_step/decay_steps）则被转化为整数) ,选择不同的衰减方式。
        name=None
    )

学习率会按照以下公式变化：

decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)

直观解释：假设给定初始学习率learning\_rate为0.1，学习率衰减率为0.1，decay\_steps为10000。  
则随着迭代次数从1到10000，当前的学习率decayed\_learning\_rate慢慢的从0.1降低为0.1*0.1=0.01，  
当迭代次数到20000，当前的学习率慢慢的从0.01降低为0.1*0.1^2=0.001，以此类推。  
也就是说每10000次迭代，学习率衰减为前10000次的十分之一，该衰减是连续的，这是在staircase为False的情况下。

如果staircase为True，则global\_step / decay\_steps始终取整数，也就是说衰减是突变的，每decay\_steps次变化一次，变化曲线是阶梯状。