Pytorch实现将模型的所有参数的梯度清0

红太狼 2022-12-27 01:51 235阅读 0赞

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/

友情链接：

[高州阳光论坛][Link 2]https://www.hnthzk.com/

[人人影视][Link 3]http://www.op-kg.com/

有两种方式直接把模型的参数梯度设成0：

> model.zero\_grad()  
> optimizer.zero\_grad()\#当optimizer=optim.Optimizer(model.parameters())时，两者等效

如果想要把某一Variable的梯度置为0，只需用以下语句：

> Variable.grad.data.zero\_()  
>

**补充知识：****PyTorch中在反向传播前为什么要手动将梯度清零？optimizer.zero\_grad()的意义**

optimizer.zero\_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0.

在学习pytorch的时候注意到，对于每个batch大都执行了这样的操作：

> optimizer.zero\_grad()             \#\# 梯度清零  
> preds = model(inputs)             \#\# inference  
> loss = criterion(preds, targets)  \#\# 求解loss  
> loss.backward()                   \#\# 反向传播求解梯度  
> optimizer.step()                  \#\# 更新权重参数

1、由于pytorch的动态计算图，当我们使用loss.backward()和opimizer.step()进行梯度下降更新参数的时候，梯度并不会自动清零。并且这两个操作是独立操作。

2、backward()：反向传播求解梯度。

3、step()：更新权重参数。

基于以上几点，正好说明了pytorch的一个特点是每一步都是独立功能的操作，因此也就有需要梯度清零的说法，如若不显示的进 optimizer.zero\_grad()这一步操作，backward()的时候就会累加梯度。

以上这篇Pytorch实现将模型的所有参数的梯度清0就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持菜鸟教程www.piaodoo.com。

[Link 1]: https://www.piaodoo.com/
[Link 2]: https://www.hnthzk.com/
[Link 3]: http://www.op-kg.com/

发表评论取消回复

表情：

评论列表（有 0 条评论，235人围观）

还没有评论，来说两句吧...

相关阅读

相关 Pytorch中实现只导入部分模型参数的方式

![e0d34bcb3f6a87a90eaa31d14d350423.jpeg][] 今天小编就为大家分享一篇Pytorch中实现只导入部分模型参数的方式，具有很好的参考价值

浅浅的花香味﹌/ 2024年03月22日 20:42/ 0 赞/ 90 阅读

相关从0开始学pytorch【1】--线性函数的梯度下降

从0开始学pytorch【1】--线性函数的梯度下降演示故事背景生成数据损失函数梯度更新1次迭代主函数执行故

￡神魔★判官ぃ/ 2023年10月04日 23:21/ 0 赞/ 44 阅读

相关 Pytorch实现将模型的所有参数的梯度清0

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

红太狼/ 2022年12月27日 01:51/ 0 赞/ 236 阅读

相关 PyTorch：模型训练-模型参数parameters

[\-柚子皮-][-_-] 获取模型参数的不同方法 1、model.named\_parameters()，迭代打印model.named\_parameters()将

╰半橙微兮°/ 2022年12月16日 15:24/ 0 赞/ 237 阅读

相关【pytorch】pytorch读模型打印参数

下面的代码包含用途有： 1.训练时多GPU，推理时所有层多出一个module时替换； 2.训练模型出现层的定义不一致时替换； 3.打印训练过程中学习的参数，可视化对应参数

女爷i/ 2022年09月16日 04:59/ 0 赞/ 350 阅读

相关 PyTorch中的梯度累积

我们在训练神经网络的时候，超参数`batch_size`的大小会对模型最终效果产生很大的影响，通常的经验是，`batch_size`越小效果越差；`batch_size`越大模

╰+哭是因爲堅強的太久メ/ 2022年09月10日 10:17/ 0 赞/ 223 阅读

相关 Pytorch中几种模型的参数初始化

[http://www.cnblogs.com/darkknightzh/p/8297793.html][http_www.cnblogs.com_darkknightzh_p

亦凉/ 2022年04月25日 08:40/ 0 赞/ 230 阅读

相关 Pytorch 梯度计算

使用Pytorch计算梯度或者求导，有两种方法： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly

小灰灰/ 2021年11月17日 00:12/ 0 赞/ 378 阅读

相关 Pytorch 不同的网络参数初始化对梯度消失的影响

尽管ReLU相比其它激活函数已经大大避免了发生梯度消失或者为0的现象，但不好的参数初始化方法也会导致这种情况的出现。 1. 使用标准正态分布初始化这里用`torch.r

亦凉/ 2021年11月04日 16:24/ 0 赞/ 467 阅读

相关 pytorch 查看中间变量的梯度

pytorch 为了节省显存，在反向传播的过程中只针对计算图中的叶子结点(leaf variable)保留了梯度值(gradient)。但对于开发者来说，有时我们希望探测...

小灰灰/ 2020年11月07日 02:53/ 0 赞/ 1217 阅读