pytorch不同的层设置不同的学习率

客官°小女子只卖身不卖艺 2022-10-23 08:26 166阅读 0赞

import torch
    from torch import nn, optim
    from torch.autograd import Variable
    import numpy as np
    import matplotlib.pyplot as plt
    
    x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168],
                        [9.779], [6.182], [7.59], [2.167], [7.042],
                        [10.791], [5.313], [7.997], [3.1]], dtype=np.float32)
    
    y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573],
                        [3.366], [2.596], [2.53], [1.221], [2.827],
                        [3.465], [1.65], [2.904], [1.3]], dtype=np.float32)
    x_train = torch.from_numpy(x_train)
    y_train = torch.from_numpy(y_train)
    
    
    # Linear Regression Model
    class LinearRegression(nn.Module):
        def __init__(self):
            super(LinearRegression, self).__init__()
            self.linear1 = nn.Linear(1, 5)  # input and output is 1 dimension
            self.linear2 = nn.Linear(5, 1)
    
        def forward(self, x):
            out = self.linear1(x)
            out = self.linear2(out)
            return out
    
    
    model = LinearRegression()
    print(model.linear1)
    # 微调：自定义每一层的学习率
    
    # 定义loss和优化函数
    criterion = nn.MSELoss()
    optimizer = optim.SGD(
        [{"params": model.linear1.parameters(), "lr": 0.01},
         {"params": model.linear2.parameters()}],
        lr=0.02)

发表评论取消回复

表情：

评论列表（有 0 条评论，166人围观）

还没有评论，来说两句吧...

相关阅读

相关 PyTorch设置指定层的学习率

PyTorch设置指定层的学习率在使用深度学习进行模型训练时，合理地设置学习率是非常重要的，这可以大幅提高模型的训练速度和精度。PyTorch是一种十分流行的深度学习框架，

矫情吗；*/ 2024年03月26日 20:52/ 0 赞/ 81 阅读

相关绘制不同学习率对精度损失的影响图形出现错误

问题当在进行实验不同的lr如\[0.1,0.01,0.001,0.0001\]时，用matplotlib绘制图形，去除列表中上一个lr的数据时出现问题。 ![0b43

た入场券/ 2024年03月23日 12:40/ 0 赞/ 46 阅读

相关探索不同学习率对训练精度和Loss的影响

验证精度、验证Loss的影响 1 问题在探索mnist数据集过程中，学习率的不同，对我们的实验结果，各种参数数值的改变有何变化，有何不同。学习率对精度和损失的影响

素颜马尾好姑娘i/ 2024年03月16日 18:58/ 0 赞/ 86 阅读

相关 052：mapboxGL同一个图层，设置每个feature不同的颜色

![在这里插入图片描述][bf6d528f641048c2924d88e7dc1e25f4.png_pic_center] 第052个 [点击查看专栏目录][Link 1]

港控/mmm°/ 2024年02月21日 07:20/ 0 赞/ 52 阅读

相关 Filebeat 根据不同的日志设置不同的索引

> 推荐阅读 > > Helm3（K8S 资源对象管理工具）视频教程：[https://edu.csdn.net/course/detail/32506][https_

短命女/ 2022年12月19日 09:21/ 0 赞/ 275 阅读

相关 pyTorch中的学习率衰减

1 学习率衰减深度学习模型训练过程中，经过一定的epoch之后，模型的性能趋于饱和，此时降低学习率，在小范围内进一步调整模型的参数，可以进一步提升模型的性能。经过多

深碍√TFBOYSˉ_/ 2022年11月21日 03:59/ 0 赞/ 556 阅读

相关 PyTorch的六个学习率调整

本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch\_Tutorial 文章目录

淩亂°似流年/ 2022年10月29日 07:56/ 0 赞/ 284 阅读

相关 pytorch不同的层设置不同的学习率

import torch from torch import nn, optim from torch.autograd import V

客官°小女子只卖身不卖艺/ 2022年10月23日 08:26/ 0 赞/ 167 阅读

相关比较不同的单元格的值,设置不同的颜色

Sub SetDifferentColor() ' ' 比较不同的单元格的值,设置不同的颜色 ' Dim colors

灰太狼/ 2022年09月22日 01:15/ 0 赞/ 186 阅读

相关《软件设计的哲学》(八)【不同的层，不同的抽象】

第 7 章不同的层，不同的抽象 > Chapter 7 Different Layer, Different Abstraction Software systems

深碍√TFBOYSˉ_/ 2021年07月04日 13:33/ 0 赞/ 361 阅读