冻结训练的理解与使用

朴灿烈づ我的快乐病毒、 2022-12-23 00:57 111阅读 0赞

冻结训练的作用：当我们已有部分预训练权重，这部分预训练权重所应用的那部分网络是通用的，如骨干网络，那么我们可以先冻结这部分权重的训练，将更多的资源放在训练后面部分的网络参数，这样使得时间和资源利用都能得到很大改善。然后后面的网络参数训练一段时间之后再解冻这些被冻结的部分，这时再全部一起训练。

参考知乎帖子：[https://www.zhihu.com/question/311095447/answer/589307812][https_www.zhihu.com_question_311095447_answer_589307812]

#------------------------------------#
    # 冻结一定部分训练
    #------------------------------------#
    for param in model.backbone.parameters():
    	param.requires_grad = False #冻结骨干网络，这部分网络有与训练权重
    optimizer = optim.Adam(filter(lambda p: p.requires_grad, net.parameters()), lr=0.1)
    # compute loss 
    # loss.backward()
    # optmizer.step()
    # 解冻
    for param in model.backbone.parameters():
        param.requires_grad = True
    	optimizer.add_param_group({ 'params': param})
    # compute loss 
    # loss.backward()
    # optmizer.step()

这里的例子来自yolov3的一个实现，网上其他人那看到的冻结训练，在优化器中通过添加一个filter把冻结了的那部分参数给过滤了，如上面所示。

[https_www.zhihu.com_question_311095447_answer_589307812]: https://www.zhihu.com/question/311095447/answer/589307812

发表评论取消回复

表情：

评论列表（有 0 条评论，111人围观）

还没有评论，来说两句吧...

相关阅读

相关 LORA的训练与使用

LORA的训练与使用 LORA模型的是webui当下最重要的插件之一。要学习LORA模型的使用，首先要了解它的形成。 Lora模型是通过制定少量图片经过训练构成的小模型

刺骨的言语ヽ痛彻心扉/ 2023年09月27日 21:32/ 0 赞/ 111 阅读

相关 easyUI表头冻结和左侧列冻结（frozenColumns columns）

一、表头冻结（关键fit:true，使用columns） <script type="text/javascript"> dataGrid = $('data

女爷i/ 2023年02月20日 07:18/ 0 赞/ 2 阅读

相关 axios的理解与使用

1. 文档 https://github.com/axios/axios 2. 是什么前端最流行的ajax请求库 react/vue官方

亦凉/ 2023年01月12日 01:46/ 0 赞/ 153 阅读

相关 pytorch打印模型参数，冻结训练等操作

目录准备工作查看模型的参数方法一方法二方法三方法四查看optimizer的参数

╰半夏微凉°/ 2022年12月30日 03:37/ 0 赞/ 229 阅读

相关冻结训练的理解与使用

冻结训练的作用：当我们已有部分预训练权重，这部分预训练权重所应用的那部分网络是通用的，如骨干网络，那么我们可以先冻结这部分权重的训练，将更多的资源放在训练后面部分的网络参数，这

朴灿烈づ我的快乐病毒、/ 2022年12月23日 00:57/ 0 赞/ 112 阅读

相关 ruby 冻结对象

在ruby Object中，freeze方法可以有效地把一个对象变成一个常量。任何对象都可以通过调用Object.freeze进行冻结。冻结对象不能被修改，也

「爱情、让人受尽委屈。」/ 2022年06月04日 10:19/ 0 赞/ 247 阅读

相关 Tesseract-OCR的简单使用与训练

[Tesseract-OCR的简单使用与训练][Tesseract-OCR] Tesseract，一款由HP实验室开发由Google维护的开源OCR（Optical Ch

布满荆棘的人生/ 2022年06月02日 10:12/ 0 赞/ 197 阅读

相关 easyUI表头冻结和左侧列冻结（frozenColumns columns）

一、表头冻结（关键fit:true，使用columns） <script type="text/javascript"> dataGrid = $('da

怼烎@/ 2022年05月16日 07:06/ 0 赞/ 496 阅读

相关使用layer.trainable = False「冻结」网络层

最近在构建深度学习网络时，发现了一段代码难以理解： for layer in base_model.layers: layer.trainable =

悠悠/ 2022年01月29日 02:11/ 0 赞/ 282 阅读

相关 eas之视图冻结与解冻

// 冻结视图 table.getViewManager().freeze(verticalIndex, horizonIndex); //冻结视图:该方法在table还没

素颜马尾好姑娘i/ 2022年01月06日 14:15/ 0 赞/ 128 阅读