pytorch 踩坑集

╰半橙微兮° 2022-12-21 02:27 190阅读 0赞

# 错误1： 多Loss #

RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain\_graph=True when calling backward the first time.  
原因：一次feed，多次backward()了。

方法：  
把各个LOSS加权求和起来，然后再backward().  
原来有问题的代码：

final_loss = (1-alpha ) * loss_func(predict_label,labels) 
               single_loss = alpha * loss_func(single_label,labels)
               optimizer.zero_grad()
               final_loss.backward()
               single_loss.backward()
               optimizer.step()

正确代码：

final_loss = (1-alpha ) * loss_func(predict_label,labels) + alpha * loss_func(single_label,labels)
                optimizer.zero_grad()
                final_loss.backward()
                optimizer.step()

# 错误2：Expected object of scalar type Long but got scalar type Float for argument #

交叉熵的label必须要转换为Long类型。  
解决方法：

labels.to(dtype=tensor.long)

# 错误3：RuntimeError: 1D target tensor expected, multi-target not supporte #

解决方法：交叉熵的Label的shape必须为`(样本个数,)`

# 错误4： 与keras相同的模型，pytorch的模型准确率会比keras低很多个百分点 #

首先检查在Keras和pytorch实现的两个模型是否一致，比如各层的参数个数是不是一致，那些默认使用的初始化方法、激活函数是否是一致。  
其次，检查pytorch的模型在训练过程，数据集是否随机化打乱过顺序。Keras实现的模型 在fit的时候会默认对训练数据和验证数据做一次shuffle。如果输入给pytorch的训练数据没有shuffle,那么模型很有可能只记住了最后一个batch的数据的特征，这会严重带偏模型的泛化性。

发表评论取消回复

表情：

评论列表（有 0 条评论，190人围观）

还没有评论，来说两句吧...

相关阅读

相关 zookeeper集群踩坑

oo.cfg中配置 server.1=dubbo-zk:2888:3888 server.2=dubbo-zk:4888:5888 server.3=dubbo...

向右看齐/ 2024年04月18日 22:12/ 0 赞/ 78 阅读

相关 linux+cuda8.0+安装pytorch（踩坑经验）

https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ (Anaconda下载网址) py36 bash Anac

布满荆棘的人生/ 2023年07月25日 14:24/ 0 赞/ 5 阅读

相关 pytorch 分布式多卡训练DistributedDataParallel 踩坑记

前言：　　近几天想研究了多卡训练，就花了点时间，本以为会很轻松，可是好多坑，一步一步踏过来，一般分布式训练分为单机多卡与多机多卡两种类型；主要有两种方式实现：

ゝ一世哀愁。/ 2023年03月01日 09:07/ 0 赞/ 32 阅读

相关 PyTorch环境搭建及踩过的坑

以下过程仅限windows -------------------- 1、安装总体上的PyTorch安装我是参考的这篇博客：https://www.cnblogs.

￡神魔★判官ぃ/ 2023年02月26日 13:25/ 0 赞/ 14 阅读

相关 pytorch 踩坑集

错误1：多Loss RuntimeError: Trying to backward through the graph a second time, but the

╰半橙微兮°/ 2022年12月21日 02:27/ 0 赞/ 191 阅读

相关 ionic + angular开发篇之踩坑集

一、API篇 1.接口无法访问百度地图、自定义API无法访问，远程调试结果显示404 原因是cordova 5.x的版本增加了“Content-Securi

小灰灰/ 2022年05月21日 13:40/ 0 赞/ 298 阅读

相关 PyTorch踩坑记

PyTorch踩坑记前言自己刚开始使用深度学习框架做事情的时候，选择了最容易入门的[Keras][]。Keras是在其它深度学习框架（谷歌的[TensorFlo

╰+哭是因爲堅強的太久メ/ 2022年05月18日 20:09/ 0 赞/ 399 阅读

相关 [笔记] PyTorch 踩坑记录

1. 关于 torch.clamp() 在我尝试实现 [Focal Loss][] 的过程中，遇到 Loss 有时候变成 nan 的情况，询问师兄后得知：如果要对数值进行

本是古典何须时尚/ 2022年04月25日 04:42/ 0 赞/ 1039 阅读

相关 Spring Cloud踩坑（二）SpringCloud 坑集

feign 作为 springcloud 微服务内部通信的组件还是有很多坑的坑1、 Load balancer does not have availa

- 日理万妓/ 2022年03月09日 05:28/ 0 赞/ 384 阅读

相关 malaganguo的踩坑合集

目录 trap1. 下拉框无法赋值 Connection to @172.16.25.79 failed.\[08006\]\[1034\] ORA-01034: ORAC

小灰灰/ 2021年10月30日 05:10/ 0 赞/ 351 阅读