PyTorch模型训练特征图可视化（TensorboardX）

爱被打了一巴掌 2023-01-09 15:42 190阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注"星标"
> 
> 获取有趣、好玩的前沿干货！

作者丨Pascal@知乎  编辑丨极市平台

来源丨https://www.zhihu.com/people/pascal\_cs/posts

## 0、前言 ##

*  本文所有代码解读均基于PyTorch 1.0，Python3；
 *  本文为原创文章，初次完成于2019.03，最后更新于2019.09；

最近复现的一篇论文一直都难以work，上了特征图可视化后一下子就找到了问题所在，所以今天想梳理一下PyTorch里面的特征图可视化。

大家都知道Tensorflow有一款非常优秀的可视化工具Tensorboard，而PyTorch自身没有可视化功能，但是我们可以寻找替代品，即TensorBoardX。安装过程不多介绍，详见下面的参考链接，里面相应有比较丰富的介绍。

tensor-yu/PyTorch\_Tutorial  
https://github.com/tensor-yu/PyTorch\_Tutorial

## 1、Loss可视化 ##

最常见的可视化就是loss曲线作图，这个实现相对比较简单，不多做介绍了

tb_logger.add_scalar('loss_train', loss, curr_step)

![format_png][]

## 2、输入图片和标签的可视化 ##

模型不work，第一个应该检查的就是输入输出有没有没给对，因此我们需要将传递给model的 input 和 label 可视化一下。

传递给网络的图片格式往往是 \[B,C,H,W\] ，范围\[0, 1\]，数据类型tensor.FloatTensor，但是add\_iamge() 能够接受的格式是\[C,H,W\], 范围\[0,1\]，数据类型tensor.FloatTensor。

一个是三维的，一个是四维的，这很好解决，我们把每个batch的第一张图拿出来就行了：input\[0\]的形状就是\[C,H,W\]，符合输入要求。

tb_logger.add_image('image', input[0], curr_step)

tensoroard里面如果出现了猫咪本尊的正确可视化结果，就说明输入图片没问题

![format_png 1][]

如果你在Dataloader里对输入图片做了Normalize，显示会出现问题，出现如下所示的乱码，此时需要通过make\_grid()函数做一些处理，函数用法具体可见后面的描述。

![format_png 2][]

## 3、单通道特征图的可视化 ##

有时候我们需要把网络内部分节点的特征图可视化出来，这时候上面的方法就不能用了，因为特征图的每个像素点上的数值范围不是\[0,1\]，而是可正可负，可大可小，因此需要做一些特殊处理。这里就要用到 torchvision.utils.make\_grid( )函数，把输入的特征图做一个归一化，把参数normalize设置为True即可，它能帮我们把数据的输入范围调整至\[0, 1\]之间

def make_grid(tensor, nrow=8, padding=2,              normalize=False, range=None, scale_each=False, pad_value=0):

更多其他参数的用法参见源码：

https://github.com/pytorch/vision/blob/master/torchvision/utils.py

这里我把三个中间特征图拼在了一块显示：

from torchvision.utils import make_gridtb_logger.add_image('feature_map', make_grid([feature_map1, feature_map2, fetare_map3], padding=20, normalize=True, scale_each=True, pad_value=1), curr_step)

需要注意的是：

*  make\_grid() 输入的是Tensor，而不是numpy.ndarray
 *  torchvision.utils.make\_grid() 将一组图片绘制到一个窗口，其本质是将一组图片拼接成一张图片

## 4、多通道特征图的可视化 ##

多通道的特征图的显示和上面的单通道存在一些区别，假设我们从batsh\_size=16，channel=20的一个tensor想取出一个多通道特征图可视化，只需要如下操作

feature_map[0].deatch().cpu().unsqueeze(dim=1)

这样就能把一个形状为 \[16,20, H, W\] 的tesnor取出并转换为 \[20, 1, H ,W\] 的形状，这与为什么要这么转换，详解第五章节。

完整代码和如下：

tb_logger.add_image('channels', make_grid(feature_map[0].detach().cpu().unsqueeze(dim=1), nrow=5, padding=20, normalize=False, pad_value=1), curr_step)

## 5、make\_grid()通道数的问题 ##

测试发现，输入 \[1, H, W\] 的数据没问题，但是\[20, H, W\] 就不行，\[20, 1, H, W\] 就可以

这是因为单通道 \[1, H, W\] 不存在歧义，但是多通道就不行，比如说\[3, H, W\] 到底是一张三通道的图还是三张单通道的图，存在歧义

因此想要显示一张多通道的特征图可以这么转换：\[1, C, H, W\] --> \[C, 1, H, W\]，显性地指明tensor形状。

## 6、总结 ##

特征图可视化在模型复现过程中十分有用，可用于定位模型错误所在，但是在tensor的数据格式、尺寸、维度上存在许多讲究，使用时需要额外小心。

## 附录一：相关函数源码 ##

其实想要熟练使用，还是多看看make\_grid的源码和样例吧：

https://github.com/pytorch/vision/blob/master/torchvision/utils.py

https://gist.github.com/anonymous/bf16430f7750c023141c562f3e9f2a91

## 附录二：网络结构可视化工具 ##

Caffe网络可视化工具

Netscope  
https://ethereon.github.io/netscope/%23/editor

PyTorch等网络的可视化工具

https://github.com/waleedka/hiddenlayer

大概是这么个效果，相对清晰一些

![format_png 3][]

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![format_png 4][]

[format_png]: /images/20221119/72daa9ca436047728231484b78ace88d.png
[format_png 1]: /images/20221119/63455092b62d45669f5fe2fa3e670b61.png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL3N6X21tYml6X2pwZy9nWVVzT1QzNnZmck1maDFPd29VMTBzaWI2S2hzVnQ4S2ZaRng4QWliYWpVZDg3OXZ2RUR4Wmt2bzBpYXNyT2UybFhEREZqQk5aRkhHbm5GR3lyQTMwSXk0Zy82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL3N6X21tYml6X2pwZy9nWVVzT1QzNnZmck1maDFPd29VMTBzaWI2S2hzVnQ4S2ZxYks2REg1QllQREtFOHliamFYSldWTDg2WmZtdlpDQnJoV01DckZwR1VWVFVDWkEzSGJRV1EvNjQw?x-oss-process=image/format,png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9McXhEanVDWlQzaWNQS2d0QTNRZHFDUlBXWTVENlcwTG0xZGYyYzZKcXgxR0hHTjg3Z2g1WW9MMkltTjFmdGxIdzZMcWVLQ2RseEQxYnV6dlVSeTE1b0EvNjQw?x-oss-process=image/format,png