PyTorch踩坑记

╰+哭是因爲堅強的太久メ 2022-05-18 20:09 399阅读 0赞

# PyTorch踩坑记 #

## 前言 ##

自己刚开始使用深度学习框架做事情的时候，选择了最容易入门的[Keras][]。Keras是在其它深度学习框架（谷歌的[TensorFlow][]，微软的[CNTK][]以及[Theano][]）的基础上，抽象了底层实现的差异，提供的更高层的API接口。说说Keras的好处吧！个人觉得Keras最吸引人的地方就是API接口的设计特别人性化，对于样本的训练，结果的测试都有一种使用传统机器学习库的感觉；函数式接口设计使得深度网络的时候特别容易，简直就像在玩乐高。如果有人想入门深度学习，我一定也会推荐Keras。

后来，我为什么转到[PyTorch][]呢？因为PyTorch大部分框架是基于Python实现的（虽然底层也有C代码），PyTorch提供了很简单的接口使得`tensor`和NumPy中的`ndarray`互相转换，这样基于NumPy的各种库我们也可以直接拿来使用。当然，这不是最重要的。我选择PyTorch的原因是因为：第一，基于Python实现，而不是像其它库一样只是提供了一个Python的调用接口而已。这样对于深度框架的调试就特别容易，如果你使用TensorFlow或者Keras，底层的实现都是C/C++，无法很好地进行底层的调试；第二，PyTorch使用动态图，而TensorFlow这样的框架使用静态图。这就是说当你使用TensorFlow框架编译一个深度模型，模型就是固定的，不容易改变，而PyTorch的动态图提供了更多的灵活性，特别是对RNN网络。所以，我在PyTorch脱离了Beta版本（0.4）以后，我果断转到了PyTorch，开始了新的学习之旅。

下面记录的是我在使用PyTorch遇到的一些问题及其解决方案：

## In-place operation ##

这个问题是在我设计一个残差网络（[ResNet][]）的时候遇到的，报错如下：`RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation.`

我是参考了PyTorch官方的[ResNet][ResNet 1]实现来设计我自己的网络的。其实，问题主要出在`forward()`函数中的`out += residual`这句代码。

我们首先来看一下`+=`这个操作符，这是一个原位操作符因为`+=`是对`out`张量直接进行的`+`操作，就是说执行完`+=`操作以后原来`out`指向的那个张量已经改变了。如果使用`out = out + residual`会有什么不同呢？这个操作是将`out`和`residual`相加，然后将结果赋值给`out`变量。在这个过程中原来`out`变量指向的那个张量并没有被修改。

那么问题来了，为什么PyTorch官方的实现中，使用`+=`的写法没有问题，而我自己代码中这样写就有问题了呢？这是因为官方的ResNet中`forward()`函数中进行相加赋值操作以后就是一个`relu`激活函数，而激活函数层不需要反向传播，所以是没问题的；而我自己设计的网络中后面还有别的层，所以就不能这样写了。

## Input type and weight type should be the same ##

这个问题是我将代码移植到GPU上运行时遇到的问题，报错如下：`RuntimeError: Input type (CUDAFloatTensor) and weight type (CPUFloatTensor) should be the same`

有人可能说，这个简单！这是你的输入数据在GPU上，而模型参数不在GPU上，使用`to()`方法将模型复制到GPU上即可。非也，我这里说的不是个问题。当然，如果有人遇到这个错误了，第一要检查的是你是不是使用`to()`或者`cuda()`方法将模型搬运到GPU上去了。

我的代码已经使用`to()`将模型复制到GPU上去了，为什么还会有这个问题呢？通过两天的调试，我发现我的模型大部分参数是位于GPU上的，而模型中的一些层却在CPU上，所以导致了这个问题。

注：在调试程序的时候怎么查看模型是否在GPU上呢？使用如下函数可以进行测试：`next(model.parameters()).is_cuda`

我后来发现，是我在设计ResNet的时候使用了`list`存储我的残差层导致的。如果在定义模型的时候，使用普通的`list`存储的模型层，PyTorch提供的`to()`方法是不会将对应的层复制到GPU上去的。解决办法也很简单，使用`torch.nn.ModuleList`容器来存储就好了。

[Keras]: https://keras.io/
[TensorFlow]: https://github.com/tensorflow/tensorflow
[CNTK]: https://github.com/Microsoft/cntk
[Theano]: https://github.com/Theano/Theano
[PyTorch]: https://pytorch.org/
[ResNet]: https://arxiv.org/abs/1512.03385
[ResNet 1]: https://github.com/pytorch/vision/blob/master/torchvision/models/resnet.py