TensorFlow实战第三课（可视化、加速神经网络训练）

淡淡的烟草味﹌ 2021-11-05 02:44 332阅读 0赞

**matplotlib可视化**

构件图形 用散点图描述真实数据之间的关系(plt.ion()用于连续显示)

# plot the real data
    fig = plt.figure()
    ax = fig.add_subplot(1,1,1)
    ax.scatter(x_data, y_data)
    plt.ion()#本次运行请注释，全局运行不要注释
    plt.show()

接下来我们来显示预测数据

每隔50次训练就刷新一次图形 用红色宽度为5的线条来显示我们的预测数据与输入数据之间的关系

并暂停0.1秒来显示观察。

for i in range(1000):
        # training
        sess.run(train_step, feed_dict={xs: x_data, ys: y_data})
        if i % 50 == 0:
            # to visualize the result and improvement
            try:
                ax.lines.remove(lines[0])
            except Exception:
                pass
            prediction_value = sess.run(prediction, feed_dict={xs: x_data})
            # plot the prediction
            lines = ax.plot(x_data, prediction_value, 'r-', lw=5)
            plt.pause(0.1)

**机器学习的结果：**

**![1393369-20190730092140224-1503953708.png][]**

\-----------------------------------------------------------------------------------------------

**加速神经网络训练**

**SGD(Stochastic Gradient Descent)   随机梯度下降法**

越复杂的神经网络 , 越多的数据 , 我们需要在训练神经网络的过程上花费的时间也就越多. 原因很简单, 就是因为计算量太大了. 可是往往有时候为了解决复杂的问题, 复杂的结构和大数据又是不能避免的, 所以我们需要寻找一些

方法, 让神经网络聪明起来, 快起来。

![1393369-20190730094148163-1919244798.png][]

所以, 最基础的方法就是 SGD 啦, 想像红色方块是我们要训练的 data, 如果用普通的训练方法, 就需要重复不断的把整套数据放入神经网络 NN训练, 这样消耗的计算资源会很大.

我们换一种思路, 如果把这些数据拆分成小批小批的, 然后再分批不断放入 NN 中计算, 这就是我们常说的 SGD 的正确打开方式了. 每次使用批数据, 虽然不能反映整体数据的情况, 不过却很大程度上加速了 NN 的训练过程, 而

且也不会丢失太多准确率.如果运用上了 SGD, 你还是嫌训练速度慢, 那怎么办?

![1393369-20190730094256081-841164775.png][]

没问题, 事实证明, SGD 并不是最快速的训练方法, 红色的线是 SGD, 但它到达学习目标的时间是在这些方法中最长的一种. 我们还有很多其他的途径来加速训练

**Momentum（冲量）更新方法**

![1393369-20190730094601966-641964304.png][]

大多数其他途径是在更新神经网络参数那一步上动动手脚. 传统的参数 W 的更新是把原始的 W 累加上一个负的学习率(learning rate) 乘以校正值 (dx). 这种方法可能会让学习过程曲折无比, 看起来像 喝醉的人回家时, 摇摇晃晃

走了很多弯路

![1393369-20190730094604151-1204015913.png][]

所以我们把这个人从平地上放到了一个斜坡上, 只要他往下坡的方向走一点点, 由于向下的惯性, 他不自觉地就一直往下走, 走的弯路也变少了. 这就是 Momentum 参数更新. 另外一种加速方法叫AdaGrad

**AdaGrad更新方法**

**![1393369-20190730094715273-1523701332.png][]**

这种方法是在学习率上面动手脚, 使得每一个参数更新都会有自己与众不同的学习率, 他的作用和 momentum 类似, 不过不是给喝醉酒的人安排另一个下坡, 而是给他一双不好走路的鞋子, 使得他一摇晃着走路就脚疼, 鞋子成为

了走弯路的阻力, 逼着他往前直着走. 他的数学形式是这样的. 接下来又有什么方法呢? 如果把下坡和不好走路的鞋子合并起来, 是不是更好呢? 没错, 这样我们就有了 RMSProp 更新方法

** RMSProp更新方法**

**![1393369-20190730094811173-58339125.png][]**

计算m 时有 momentum 下坡的属性, 计算 v 时有 adagrad 阻力的属性, 然后再更新参数时 把 m 和 V 都考虑进去. 实验证明, 大多数时候, 使用 adam 都能又快又好的达到目标, 迅速收敛. 所以说, 在加速神经网络训练的时候, 一

个下坡, 一双破鞋子, 功不可没

\----------------------------------------------------

**Optimizer优化器**

tenso中优化器有很多不同的种类 最基本也是最经常用的一种就是GradientDescentOptimizer

tensorflow中提供了七种优化器

![1393369-20190730145656986-820417399.png][]

转载于:https://www.cnblogs.com/baobaotql/p/11268207.html

[1393369-20190730092140224-1503953708.png]: /images/20211104/0a59653e7415436888720ff1b4ac709b.png
[1393369-20190730094148163-1919244798.png]: /images/20211104/2e4f092bf1c041ce9629013b06f4a613.png
[1393369-20190730094256081-841164775.png]: /images/20211104/1e443994c08a4cf7b906d1fc98ec7410.png
[1393369-20190730094601966-641964304.png]: /images/20211104/067f1a66f68143ada58b74a631c8a4c5.png
[1393369-20190730094604151-1204015913.png]: /images/20211104/6986c1a48dec4cc3aae17dbff60cf9c8.png
[1393369-20190730094715273-1523701332.png]: /images/20211104/bc3b4ee9dba04ed7811bdb9d3a4df636.png
[1393369-20190730094811173-58339125.png]: /images/20211104/057fbd6e8af340a2845d5a9531d3065e.png
[1393369-20190730145656986-820417399.png]: /images/20211104/871294a4025c4b8d8bad485f757da5f6.png