两个pytorch小bug

痛定思痛。 2022-09-10 11:16 233阅读 0赞

# No.1 #

*

> **报错内容:RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: \[torch.FloatTensor \[128, 1\]\], which is output 0 of TBackward, is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set\_detect\_anomaly(True).**

**解读**：意思是出现了“原地踏步”的代码。该问题一般出现在反向传播backward时，意思是某个变量重复覆盖了，即原地踏步，不太好说，我举个栗子：

# 错误代码：
    Pt=nn.Softmax()(Pt)

上面Pt是一个反向传播更新的参数，但是再其backward之前，出现了这么一行，就认为是原地踏步了，直接导致上述错误，

*  **正确的方法是：**

Pt_soft=nn.Softmax()(Pt)

然后接下来使用Pt\_soft继续代码。

# No.2 #

*

> **pytorch: can’t optimize a non-leaf Tensor**

解读，这个tensor是一个non-leaf结点，是非叶结点，这很好理解，优化应当是从它开始优化，它之前不应有梯度操作。**结合下面两个例子**：

*  **下面是一种情况**：  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAQ3RybFox_size_20_color_FFFFFF_t_70_g_se_x_16]
 *  **更多的情况是**：

Pt=torch.FloatTensor(args.n_labels).fill_(1.0 / args.n_labels).to(DEVICE)
    Pt=nn.Parameter(Pt,requires_grad = True)
    Pt=nn.Softmax()(Pt)
    critic_Pt = torch.optim.Adam([Pt], lr=args.lr)

在Pt放到优化器之前有一个Softmax的梯度操作，导致覆盖之后的Pt并不是叶子结点，覆盖之前的Pt才是。修改方法就不用我多说了。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAQ3RybFox_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/fa3ce49b7a444d63933ed214033e1349.png

发表评论取消回复

表情：

评论列表（有 0 条评论，233人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL的两个原则，两个优化，一个bug

背景：因为[间隙锁][Link 1]在可重复读隔离级别下才有效，所以本篇文章接下来的描述，若没有特殊说明，默认是可重复读隔离级别。 1.加锁规则里面，包含了两个“原则”、

忘是亡心i/ 2024年03月22日 13:07/ 0 赞/ 50 阅读

相关 pytorch解决两个GPU同时训练问题。

解决两个GPU同时训练问题。使用场景 -------------------- 我有两个GPU卡。我希望我两个GPU能并行运行两个网络模型。代码错误

Dear 丶/ 2023年03月14日 05:47/ 0 赞/ 31 阅读

相关小知识 | PyTorch 的13个特性

点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！ > 作者：MARCIN ZABŁOCKIMARCIN ZABŁOCKI > > 编译：AI公

﹏ヽ暗。殇╰゛Y/ 2023年01月13日 05:29/ 0 赞/ 219 阅读

相关 Pytorch 串行训练两个网络

RuntimeError: Trying to backward through the graph a second time, but the buffers ha

青旅半醒/ 2022年12月22日 09:11/ 0 赞/ 186 阅读

相关 Pytorch同时迭代两个数据集

from __future__ import print_function, division, absolute_import import argparse

╰+攻爆jí腚メ/ 2022年11月11日 05:50/ 0 赞/ 264 阅读

相关两个pytorch小bug

No.1 > 报错内容:RuntimeError: one of the variables needed for gradient computation h

痛定思痛。/ 2022年09月10日 11:16/ 0 赞/ 234 阅读

相关 2.6.32内核sendfile的两个bug

在2.6.32内核中，sendfile存在两个已知的bug，其中一个有关安全性，是提权bug。比如http://hi.baidu.com/\_kouu/item/b745585

偏执的太偏执、/ 2022年04月23日 21:36/ 0 赞/ 227 阅读

相关今天遇到两个Bug, haha

错误提示1： AttributeError: ‘tuple’ object has no attribute 'values 这个错误的解决方案是：由于我

分手后的思念是犯贱/ 2022年04月15日 06:06/ 0 赞/ 350 阅读

相关两个bug

bug0 一个 flash Web 应用，在 Windows 下 IE, Chrome 浏览器下正常, Linux 下 Firefox, Chrome 浏览器下正常, 只

素颜马尾好姑娘i/ 2021年11月16日 12:22/ 0 赞/ 323 阅读

相关小技巧两个感叹号（两个!）连用

两个!是为了把非0值转换成1,而0值还是0。（如下表） <table> <tbody> <tr> <td> </td> <td>！</td

系统管理员/ 2021年11月05日 21:58/ 0 赞/ 834 阅读