使用多个梯度下降的方式进行测试，同时使用ops.apply_gradient进行梯度的下降

悠悠 2021-10-29 11:58 299阅读 0赞

1. ops = tf.train.GradientDescentOptimizer(learning\_rate) 构建优化器

参数说明：learning\_rate 表示输入的学习率

2.ops.compute\_gradients(loss, tf.train\_variables(), colocate\_gradients\_with\_ops=True)

参数说明：loss表示损失值, tf.train\_variables() 表示需要更新的参数, colocate\_gradients\_with\_ops= True表示进行渐变的操作

tf.train.GradientDescentOptimizer 梯度下降优化器

import numpy as np
    import tensorflow as tf
    import matplotlib.pyplot as plt
    TRAIN_STEP = 20
    
    data = []
    num_data = 1000
    for i in range(num_data):
        x_data = np.random.normal(0.0, 0.55)
        y_data = 0.1 * x_data + 0.3 + np.random.normal(0.0, 0.03)
        data.append([x_data, y_data])
    
    # 第二步：将数据进行分配，分成特征和标签
    X_data = [v[0] for v in data]
    y_data = [v[1] for v in data]
    learning_rate_placeholder = 0.5 # 初始学习率
    global_step = tf.Variable(0, trainable=False) # 设置初始global_step步数
    learning_rate = tf.train.exponential_decay(learning_rate_placeholder, global_step, 15, 0.1, staircase=True)
    W = tf.Variable(tf.truncated_normal([1], -1, 1), 'name') # 进行参数初始化操作
    b = tf.Variable(tf.zeros([1]))
    
    logits = X_data * W + b # 构造拟合函数
    loss = tf.reduce_mean(tf.square(y_data - logits)) # 使用平方和来计算损失值
    opt = tf.train.GradientDescentOptimizer(learning_rate) # 构造梯度下降优化器
    grad = opt.compute_gradients(loss, tf.trainable_variables(), colocate_gradients_with_ops=True) # 计算梯度，这里的trainable_variables()表示所有的参数，这里我们可以使用参数进行finetune操作
    grad_opt = opt.apply_gradients(grad, global_step=global_step) # 进行global的迭代更新，同时构造更新梯度的操作
    UPDATA_OP = tf.get_collection(tf.GraphKeys.UPDATE_OPS) # 收集之前的操作
    with tf.control_dependencies(UPDATA_OP): # 在进行训练操作之前先将保证其它操作做完
        train_op = tf.group(grad_opt) # 进行操作的实例化，用于进行参数更新
    sess = tf.Session() 
    sess.run(tf.global_variables_initializer()) # 权重参数初始化操作
    for i in range(TRAIN_STEP):
        sess.run(train_op) # 进行实际的参数更新操作 
    
    plt.plot(X_data, y_data, '+') # 画图操作 
    plt.plot(X_data, X_data*sess.run(W) + sess.run(b), '-')
    plt.show()

![1396837-20190815110404156-2066778096.png][]

tf.train.AdamOptimizer 自适应学习率梯度下降

![1396837-20190815111339899-1118252844.png][]

tf.train.MomentumOptimizer(learning_rate, 0.7) 动量梯度下降
    原理说明：

![1396837-20190815112645705-2057689027.png][]

![1396837-20190815111700304-404644788.png][]

tf.train.AdagradOptimizer Adagra算法的学习率增加

![1396837-20190815112520477-731557034.png][]

转载于:https://www.cnblogs.com/my-love-is-python/p/11354335.html

[1396837-20190815110404156-2066778096.png]: /images/20211029/6ffe53e6e8c044afa0aec15584ce09b1.png
[1396837-20190815111339899-1118252844.png]: /images/20211029/ece5bd1c3eb14072897b0c953b2ee382.png
[1396837-20190815112645705-2057689027.png]: /images/20211029/88ebacf9052749e9820e9cfd87c9245a.png
[1396837-20190815111700304-404644788.png]: /images/20211029/f587d80271ff42d0bc484841a205c4b1.png
[1396837-20190815112520477-731557034.png]: /images/20211029/fad1e3ba64954f0bb3b7f900556db4ad.png