[笔记] PyTorch 踩坑记录

本是古典何须时尚 2022-04-25 04:42 1039阅读 0赞

### 1. 关于 torch.clamp() ###

在我尝试实现 [Focal Loss][] 的过程中，遇到 Loss 有时候变成 nan 的情况，询问师兄后得知：**如果要对数值进行 log 操作，最好先对其进行 clamp 操作，防止其中存在极小值，导致计算结果出现 nan**。

prob = self.softmax(pred.view(-1,self.class_num))
    prob.clamp(min=0.0001,max=1.0) # 等价于 prob = torch.clamp(prob,min=0.0001,max=1.0)

(tensor.clamp\_() 为 in-place 函数，与其对应的 out-place 版本的为 tensor.clamp())

**官方文档：**

![20190820102607820.png][]

### 2. 关于 tensor.scatter\_() ###

在实现 Focal Loss 的过程中，为了实现针对多分类任务的 Focal Loss，需要将模型所生成的预测向量转为 one-hot 向量，查询了一番便了解到了 scatter\_。scatter\_ 将 src 中数据根据 index 中的索引按照 dim 的方向填进input中，详细解释可以阅读这篇博文：[Pytorch scatter\_ 理解轴的含义][Pytorch scatter_]。

target_ = torch.zeros(target.size(0),self.class_num).cuda()
    target_.scatter_(1, target.view(-1, 1).long(), 1.)

(tensor.scatter\_() 为 in-place 函数，与其对应的 out-place 版本的为 tensor.scatter())

**官方文档：**

![20190820103434542.png][]

### 3. 关于 tensor.detach() ###

关于 tensor.detach() 和 tensor,data 的区别，网上已经有许多讲解了，可以查看这些网页：[Differences between .data and .detach][]，[pytorch .detach() .detach\_() 和 .data用于切断反向传播][pytorch .detach_ .detach_ _ .data]，[PyTorch中 tensor.detach() 和 tensor.data 的区别][PyTorch_ tensor.detach_ _ tensor.data]。

但是，我觉得这篇博文讲的更直白一些，[Pytorch入门学习（九）—detach()的作用（从GAN代码分析)][Pytorch_detach_GAN]。最近刚好在做 Domain Adaptation 相关方面的学习，在阅读 [Conditional Adversarial Domain Adaptation 的代码][Conditional Adversarial Domain Adaptation]时，发现作者也利用 tensor.detach() 进行梯度截断。该作者还在 issue 中解释了该操作的目的：

![20190820111343734.png][]

**官方文档：**

![20190820104804869.png][]

### 4. 关于 tensor.register\_hook() ###

在 PyTorch 中，Hook 机制除了 tensor.register\_hook() 外，还有 nn.Module.register\_forward\_hook() 和 nn.Module.register\_backward\_hook  
()，相关的详细介绍可以阅读这些博文：[pytorch学习笔记（七）：pytorch hook 和 关于pytorch backward过程的理解][pytorch_pytorch hook _ _pytorch backward]，[pytorch中的钩子（Hook）有何作用？][pytorch_Hook]。

在 [Conditional Adversarial Domain Adaptation 的代码][Conditional Adversarial Domain Adaptation]中，作者通过使用 tensor.register\_hook()，使得梯度回传时，Domain Discriminator 和 ResNet 所得到的梯度值符号相反，以此达到对抗学习的目的。

![20190820114207543.png][]

def grl_hook(coeff):
        def fun1(grad):
            return -coeff*grad.clone()
        return fun1
    
    def calc_coeff(iter_num, high=1.0, low=0.0, alpha=10.0, max_iter=10000.0):
        return np.float(2.0 * (high - low) / (1.0 + np.exp(-alpha*iter_num / max_iter)) - (high - low) + low)
    
    class AdversarialNetwork(nn.Module):
      def __init__(self, in_feature, hidden_size):
        super(AdversarialNetwork, self).__init__()
    
        self.ad_layer1 = nn.Linear(in_feature, hidden_size)
        self.ad_layer2 = nn.Linear(hidden_size, hidden_size)
        self.ad_layer3 = nn.Linear(hidden_size, 1)
    
        self.relu1 = nn.ReLU()
        self.relu2 = nn.ReLU()
    
        self.dropout1 = nn.Dropout(0.5)
        self.dropout2 = nn.Dropout(0.5)
    
        self.sigmoid = nn.Sigmoid()
    
        self.apply(init_weights)
        self.iter_num = 0
        self.alpha = 10
        self.low = 0.0
        self.high = 1.0
        self.max_iter = 10000.0
    
      def forward(self, x):
        if self.training:
            self.iter_num += 1
        coeff = calc_coeff(self.iter_num, self.high, self.low, self.alpha, self.max_iter)
        x = x * 1.0
        x.register_hook(grl_hook(coeff))
        x = self.ad_layer1(x)
        x = self.relu1(x)
        x = self.dropout1(x)
        x = self.ad_layer2(x)
        x = self.relu2(x)
        x = self.dropout2(x)
        y = self.ad_layer3(x)
        y = self.sigmoid(y)
    
        return y
    
      def output_num(self):
        return 1
    
      def get_parameters(self):
        return [{
        "params":self.parameters(), "lr_mult":10, 'decay_mult':2}]

**官方文档：**

![20190820112557544.png][]

### 5. 关于 tensor.narrow() ###

tensor.narrow() 沿着所输入 tensor 的维度 dimension，从索引 start 开始，提取共计 length 个数据。

output.narrow(0, 0, data_source.size(0)) # 等价于 output = torch.narrow(0, 0, data_source.size(0))

**官方文档：**

![20190820115556993.png][]

### 6. 关于 torch.utils.data.DataLoader() ###

常见的使用 DataLoader 的代码：

data_loader = torch.utils.data.DataLoader(dataset=data_set, batch_size=batch_size, shuffle=True, num_workers=8, drop_last=True)
    for epoch in range(EPOCH):
        for step, (data, label) in enumerate(data_loader):   # gives batch data
             ......

但是在 Domain Adversarial 的代码中，经常需要对两个 DataLoader 同时进行迭代，我们可以这样写：

len_source = len(train_source_dataloader)
        len_target = len(train_target_dataloader)
        if len_source > len_target:
            num_iter = len_source
        else:
            num_iter = len_target
    
        end = time.time()
        for batch_idx in range(num_iter):
            if batch_idx % len_source == 0:
                iter_source = iter(train_source_dataloader)    
            if batch_idx % len_target == 0:
                iter_target = iter(train_target_dataloader)
            
            data_source, label_source = iter_source.next()
            data_source, label_source = data_source.cuda(), label_source.cuda()
            data_target, label_target = iter_target.next()
            data_target = data_target.cuda()

其中，有这样一条语句：`len_source = len(train_source_dataloader)`，这得到的是该 data\_loader 的迭代次数，即`len(data_loader) = math.ceil(len(data_loader.dataset)/batch_size))`，详细解释可以查看[About the relation between batch\_size and length of data\_loader][About the relation between batch_size and length of data_loader]。

### 7. 关于 torch.nn.register\_parameter() 与 torch.nn.register\_buffer() ###

torch.nn.register\_parameter() 用于注册 Parameter 实例到当前 Module 中（一般可以用 torch.nn.Parameter() 代替），torch.nn.register\_buffer() 用于注册 Buffer 实例到当前 Module 中。此外，Module 中的 buffers() 函数会返回当前 Module 中所注册的所有 Buffer 的迭代器，而 parameters() 函数会返回当前 Module 中所注册的所有 Parameter 的迭代器（所以优化器不会计算 Buffer 的梯度，自然不会对其更新）。此外，Module 中的 state\_dict() 会返回包含当前 Module 中所注册的所有 Parameter 和 Buffer（所以模型中未注册成 Parameter 或 Buffer 的参数无法被保存）。（详细解释，可以看 [What is the difference between ‘register\_buffer’ and ‘register\_parameter’ of ‘nn.Module’][What is the difference between _register_buffer_ and _register_parameter_ of _nn.Module]）

**官方文档：**

![20191015160924532.png][] ![20191015160957868.png][]

### 8.关于 DataLoader worker (pid xxx) is killed by signal: Killed ###

这条报错出现在我设置 DataLoader 使用多进程（即 num\_worker > 0）且程序中出现 OOM（Out Of Memory，注意指的是内存，并非显存） 的时候，光看这条报错的信息并不能知道是由于 OOM 所导致的，我也是上网搜索才知道的。

### 9. 关于 torch.nn.Module.train() 和 torch.nn.Module.eval() ###

大家都知道在测试模型的时候需要调用 torch.nn.Module.eval()，不然无法固定模型中 Dropout 和 BN 模块，大家也知道 torch.nn.Module.eval() 等价于torch.nn.Module.train(mode=False)，但是很少有人去想这两个函数到底是如何让 Module 设置为训练/测试模式的。

最近在做实验的时候，需要仿照 BN 的实现构造一个取平均值的模型，于是跑去看了看 torch.nn.Module 的源码。 torch.nn.Module 中有个属性 training ，该属性决定 Module 处于何种模式中。换句话说，train()/eval() 就是通过更改 training 的值来改变 Module 的状态的。

**官方文档：**

![20191015164330139.png][]

**参考资料：**

*  [Pytorch scatter\_ 理解轴的含义][Pytorch scatter_]
 *  [Differences between .data and .detach][]
 *  [pytorch .detach() .detach\_() 和 .data用于切断反向传播][pytorch .detach_ .detach_ _ .data]
 *  [PyTorch中 tensor.detach() 和 tensor.data 的区别][PyTorch_ tensor.detach_ _ tensor.data]
 *  [Pytorch入门学习（九）—detach()的作用（从GAN代码分析)][Pytorch_detach_GAN]
 *  [pytorch学习笔记（七）：pytorch hook 和 关于pytorch backward过程的理解][pytorch_pytorch hook _ _pytorch backward]
 *  [pytorch中的钩子（Hook）有何作用？][pytorch_Hook]
 *  [Pytorch：RuntimeError: DataLoader worker (pid 27) is killed by signal: Killed. Details are lost due][Pytorch_RuntimeError_ DataLoader worker _pid 27_ is killed by signal_ Killed. Details are lost due]
 *  [What is the difference between ‘register\_buffer’ and ‘register\_parameter’ of ‘nn.Module’][What is the difference between _register_buffer_ and _register_parameter_ of _nn.Module]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvZGVfTWFydA_size_16_color_FFFFFF_t_70_pic_center]

[Focal Loss]: https://blog.csdn.net/Code_Mart/article/details/89736187
[20190820102607820.png]: /images/20220210/be9f3c166c804033a8bae69a5e2e1eb2.png
[Pytorch scatter_]: https://blog.csdn.net/qq_16234613/article/details/79827006
[20190820103434542.png]: /images/20220210/50c6327a577e4e60b08223832f4f9ae3.png
[Differences between .data and .detach]: https://github.com/pytorch/pytorch/issues/6990
[pytorch .detach_ .detach_ _ .data]: https://www.cnblogs.com/wanghui-garcia/p/10677071.html
[PyTorch_ tensor.detach_ _ tensor.data]: https://blog.csdn.net/DreamHome_S/article/details/85259533
[Pytorch_detach_GAN]: https://blog.csdn.net/Hungryof/article/details/78035332
[Conditional Adversarial Domain Adaptation]: https://github.com/thuml/CDAN/tree/master/pytorch
[20190820111343734.png]: /images/20220210/5f3f25bc00a14b8e8876e4eac472a8fa.png
[20190820104804869.png]: /images/20220210/99da67b5cb7c4c75880cbec64d3b2e14.png
[pytorch_pytorch hook _ _pytorch backward]: https://blog.csdn.net/u012436149/article/details/69230136
[pytorch_Hook]: https://www.zhihu.com/question/61044004
[20190820114207543.png]: /images/20220210/b00945b12487425b9cc4aeec162f9f6d.png
[20190820112557544.png]: /images/20220210/94f187ff041b4776a88d1ee4f70eec97.png
[20190820115556993.png]: /images/20220210/155a6093c0a241aea2aa2c6d121bfaae.png
[About the relation between batch_size and length of data_loader]: https://discuss.pytorch.org/t/about-the-relation-between-batch-size-and-length-of-data-loader/10510
[What is the difference between _register_buffer_ and _register_parameter_ of _nn.Module]: https://discuss.pytorch.org/t/what-is-the-difference-between-register-buffer-and-register-parameter-of-nn-module/32723
[20191015160924532.png]: https://img-blog.csdnimg.cn/20191015160924532.png
[20191015160957868.png]: /images/20220210/03e3625f3f78413e9631d7dce31c4e45.png
[20191015164330139.png]: /images/20220210/5ba3d6da90ee4737ad317998f966ce31.png
[Pytorch_RuntimeError_ DataLoader worker _pid 27_ is killed by signal_ Killed. Details are lost due]: https://blog.csdn.net/u011995719/article/details/87780798
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NvZGVfTWFydA_size_16_color_FFFFFF_t_70_pic_center]: /images/20220210/64c3a020cf6d46aeb20c65028f482f60.png