详解 TensorBoard

深碍√TFBOYSˉ_ 2022-05-09 03:24 226阅读 0赞

### 什么是 TensorBoard ###

TensorBoard 是 TensorFlow 上一个非常酷的功能，我们都知道神经网络很多时候就像是个黑盒子，里面到底是什么样，是什么样的结构，是怎么训练的，可能很难搞清楚，而 TensorBoard 的作用就是可以把复杂的神经网络训练过程给可视化，可以更好地理解，调试并优化程序。

我们在建立神经网络模型解决问题时，例如想要用一个简单的 CNN 进行数字识别时，最想知道的就是什么样的模型，即 weights 和 bias 是多少的时候，可以使得 accuracy 达到较优，而这些变量都可以在 Tensorboard 中以一个可视化的方式看到，

![Image 1][]

*  在 scalars 下可以看到 accuracy，cross entropy，dropout，layer1 和 layer2 的 bias 和 weights 等的趋势。
 *  在 images 和 audio 下可以看到输入的数据。
 *  在 graphs 中可以看到模型的结构。
 *  在 histogram 可以看到 activations，gradients 或者 weights 等变量的每一步的分布，越靠前面就是越新的步数的结果。
 *  distribution 和 histogram 是两种不同的形式，可以看到整体的状况。
 *  在 embedding 中可以看到用 PCA 主成分分析方法将高维数据投影到 3D 空间后的数据的关系。

![Image 1][]

--------------------

### 如何用 TensorBoard ###

在官网有两篇关于 TensorBoard 的教程，学习之后总感觉还是不太会用，只是讲了如何做出图来，可是**到底该怎么发挥 TensorBoard 的功能呢**，不能只是看看热闹，画出来图了，该怎么解读呢？

今天就来个更充实的，仍然以 MNIST 为例，来看**如何一点点完善一个 model**。

下面是一个普通的 convolutional 网络结构，我们全文会在**这个结构上**进行调优：

![Image 1][]

这是初级的代码：

![Image 1][]

先来看一下它的训练结果：

![Image 1][]

**接下来将分为以下几步：**

*  step 1: 查看 graph 结构
 *  step 2：查看 accuracy，weights，biases
 *  step 3: 修改 code
 *  step 4: 选择最优模型
 *  step 5: 用 embedding 进一步查看 error 出处

--------------------

那让我们来打开 board ，看发生了什么，为什么这么低

step 1: 查看 graph 结构

**想要可视化 graph，就先只传一个 graph 进去**

![Image 1][]

在左边我们看到了一个 convolution，  
在右边还有一些东西不知道哪里来的：

![Image 1][]

**所以需要清理 graph**

graph 是基于 naming system，它有 ops，ops 有 names  
我们可以给某些具体的 node 特有的 name：

*  Node names
 *  Name scopes

**首先给一些重要 ops 赋予 name**  
如 weights 和 bias，  
然后用 name scope ，这样所有的命名后的 ops 都会保持一个整洁的结构

![Image 1][]

**接着给 placeholder names**

![Image 1][]

**然后接着给 training 或者 loss names**

![Image 1][]

把这个 clean 后的存到 另外一个文件夹

![Image 1][]

**这一次的 graph 就会比较清晰：**

1.  有个 training block，连接着需要训练的参数，因为当你计算 gradients 时，就会用到相关的 variables
2.  我们在代码中，先是有 x 的 placeholder，然后 reshape 了一下，
3.  接着我们可以看一下 convolution layer  
    这样我们就可以看到，图里的结构和我们期望的是一样的
4.  这里我们看到 cross entropy 是如何进行的
5.  有相似结构的 block 会有同样的 color

![Image 1][]

1.  如果既用了 cpu 也用了 gpu ，点上 color by device 就会有不同颜色
2.  打开 trace inputs，就可以看到你选中的变量，都与哪些变量有关

![Image 1][]

--------------------

step 2：查看 accuracy，weights，biases

**接下来我们需要用到 summaries：**

summary 就是一个 tf op，它会从你的 graph 里面提取一个 regular tensor，然后后产生一个 protocol buffers

![Image 1][]

1.  一种是 scalar，是针对单一变量的
2.  还有 image 的可以输出 image，可以用来检查是否 data 是否是正确的格式
3.  还可以看生成的 音频数据
4.  histogram 可以看数据的分布
5.  还有一个 tensor summary，可以用来看任何东西，因为 tf 中的所有都是 tensor 形式的

![Image 1][]

**接下来让我们 add 一些 summary 吧：**

1.  例如来看 cross entropy 和 accuracy 是怎么随时间变化的，  
    还可以看我们的 input 是不是 MNIST 数据
2.  还可以加一些 add 一些 histogram，来看 weights，biases，activations，  
    我们运行 summary op，然后得到 protocol buffers，  
    然后写入 disk
3.  然后用一个 merge 把所有的 summary 合成一个 target，就不用一个一个地去运行写入展示了

![Image 1][]

**可以看到 accuracy 大约在 10% 徘徊：**

1.  原始的 data 是有很多噪音的，因为它只是随机抽样  
    smooth 之后可以看到清晰的 trend
2.  还可以看到 cross entropy 的趋势，训练过程中一直都是常数，应该是 model 有点问题了

![Image 1][]

再看 image 里面的图，嗯，应该是 MNIST 里的数据没错

![Image 1][]

**histogram 和 distribution 是两种不同的形式**

1.  distribution 可以看到 conv 卡在 0 上
2.  histogram 可以看到只在 0 处有个尖峰

![Image 1][]

**这样我们可以看到，我们在建立 layer 时出了一些问题，**  
因为当 bias 和 weights 都是 0 的话，我们传递给 activations 的就只是 0 gradients，这时没有训练任何东西

--------------------

让我们来看看 这一层 怎么了

step 3: 修改 code

**我们看到 weights 和 bias 被 初始化成 0 了**

![Image 1][]

那我们可以把它们改成更合理的初始化：

![Image 1][]

**这样我们可以看到更好的结果了：**  
cross entropy 迅速降到 0，  
accuracy 迅速升到 1.

![Image 1][]

1.  同样的，如果我们看 histogram，它也有了更好看的趋势
2.  也可以把随着时间变化的展示，改成 overlap
3.  在 distribution 可以看到类似的信息，  
    例如看最开始训练的时候有非常高的 maximum，  
    然后变成 90%， 60%

![Image 1][]

**现在发现 model 基本训练的不错了**

--------------------

step 4: 选择最优模型

**接下来 tf 还可以进行调参**

可以看不同版本的 model 在 训练不同的 variable 时哪个更好。

我们要尝试 不同的 learning rates，不同的 convolutional 层，  
建立一个 hyperparameter string，然后在打开 board 时指向了上一层文件夹，这样可以比较不同的具体的结果：

![Image 1][]

**在左下角这里可以看到不同的 hyperparameter 设置：**

![Image 1][]

然后可以看到，cross entropy 在不同的 超参数下是怎样的走势

![Image 1][]

**可以看到有些模型几乎没有训练出东西，有些比较成功**

![Image 1][]

1.  我们还可以看最 wrost 的模型，它的 learning rate ＝ 1 E－03，
2.  还可以看最 best 的模型，它的 learning rate ＝ 1 E－04，

![Image 1][]

1.  还可以在左下角输入想单独比较的超参数，例如 conv＝1
2.  还可以只看一条
3.  可以用 wall 来看到 不同的模型是在不同的时间训练的
4.  还可以通过 realtive 看到不同 模型 用了不同长度的训练时间
5.  可以看到 bias 等在不同模型中是如何变化的

![Image 1][]

在 graph 中可以看到 这是个只有一个 convolutional 层的模型，也可以选择 run 的是哪个模型，就能看到相应的 graph：

![Image 1][]

image.png

--------------------

step 5: 用 embedding 进一步查看 error 出处

**接下来是最酷的功能，embedding 可视化，它可以把高维数据映射到 3D**

我们有了 input，然后经过 NN，embedding 就是我们的 NN 是如何处理信息的 表现

我们需要**建立 variable 来装测试集的每个 image 的 embedding，  
然后建立 config**，用来知道哪里可以找到每个 MNIST 的 sprite 图片，这样就可以在浏览器看到缩略图了，并用 label 把它们组织起来

![Image 1][]

**用 filewrite 写入 disk**，每 500 步保存一个 model checkpoint，包含所有的 variables，包括 embedding 的

![Image 1][]

这样可以看到测试集的 1024 个数据，  
我们现在**用的 PCA，选了 top 3 的主成分**，然后展示了 3D 的表示图，

![Image 1][]

**color by label 后**，可以看到我们的 model 分类的比较不错哦，  
例如 1 都聚到了一起，因为 1 就是 1，没有和它比较容易混淆的数字

![Image 1][]

**如果用 TSNE**，它可以 保持 local 相似性，

![Image 1][]

我们可以看到 1 识别的比较好，但是在 3，5，8 上面遇到了一些困难，因为它们看起来有点相近，

![Image 1][]

**接下来让我们来看一下一个 bad 预测**，例如这个 7， 它被放在了 1 的一堆中，也就是 model 把一个 7 标记成了 1，

![Image 1][]

然后我们可以放大一下，这个 7 确实很像 1，那我们的 model 的确是会把它看成 1， 还有那个 9 也很像 1.

![Image 1][]

--------------------

好了，上面基本把 TensorBoard 各板块上主要的功能简单介绍了一下，而且用了一个小例子，看如何借用各个板块的可视化结果来帮助我们调优模型：

*  step 1: 查看 graph 结构
 *  step 2：查看 accuracy，weights，biases
 *  step 3: 修改 code
 *  step 4: 选择最优模型
 *  step 5: 用 embedding 进一步查看 error 出处

希望也可以帮到大家，据说后面 TensorFlow 会推出更炫的而且更专业的可视化功能，例如语音识别的，有了这种可视化的功能，最需要精力的调优环节也变得更有趣了。

![Image 1][]

--------------------

参考：  
[https://www.tensorflow.org/get\_started/summaries\_and\_tensorboard][https_www.tensorflow.org_get_started_summaries_and_tensorboard]  
[https://www.tensorflow.org/get\_started/summaries\_and\_tensorboard][https_www.tensorflow.org_get_started_summaries_and_tensorboard]  
[https://www.youtube.com/watch?v=eBbEDRsCmv4][https_www.youtube.com_watch_v_eBbEDRsCmv4]  
本文 code：  
[https://gist.github.com/dandelionmane/4f02ab8f1451e276fea1f165a20336f1\#file-mnist-py][https_gist.github.com_dandelionmane_4f02ab8f1451e276fea1f165a20336f1_file-mnist-py]

> 转载记得联系 ? 哦 ?

--------------------

推荐阅读 [历史技术博文链接汇总][Link 1]  
[http://www.jianshu.com/p/28f02bb59fe5][Link 1]  
也许可以找到你想要的

作者：不会停的蜗牛  
链接：https://www.jianshu.com/p/d059ffea9ec0  
來源：简书  
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

[Image 1]: 
[https_www.tensorflow.org_get_started_summaries_and_tensorboard]: https://link.jianshu.com?t=https://www.tensorflow.org/get_started/summaries_and_tensorboard
[https_www.youtube.com_watch_v_eBbEDRsCmv4]: https://link.jianshu.com?t=https://www.youtube.com/watch?v=eBbEDRsCmv4
[https_gist.github.com_dandelionmane_4f02ab8f1451e276fea1f165a20336f1_file-mnist-py]: https://link.jianshu.com?t=https://gist.github.com/dandelionmane/4f02ab8f1451e276fea1f165a20336f1#file-mnist-py
[Link 1]: https://www.jianshu.com/p/28f02bb59fe5