PyTorch深度学习入门深度学习基础 2.2 线性回归 4. 批量输入 5. 训练

布满荆棘的人生 2024-03-27 17:19 98阅读 0赞

#### PyTorch深度学习入门 ####

![在这里插入图片描述][d0531dc9a6464121989b3b064fe5e2dc.png_pic_center]

##### 深度学习基础 #####

##### 2.2 线性回归 #####

###### 4. 批量输入 ######

之前我们得到的目标函数

y ^ = w 1 x + w 0 \\hat\{y\}=w\_1 x+w\_0 y^=w1x\+w0

将其写成向量形式，把 w 0 w\_0 w0 看作  w 0 × x 0 w\_0 \\times x\_0 w0×x0 【 x 0 x\_0 x0 = 0】，得：

y ^ = x ⃗ ⋅ w ⃗ \\hat\{y\} = \\vec\{x\} · \\vec\{w\} y^=x⋅w

其中  x ⃗ = ( x 1 , x 0 ) T , w ⃗ = ( w 1 , w 0 ) T \\vec\{x\}=\\left(x\_1, x\_0\\right)^\{\\mathrm\{T\}\}, \\quad \\vec\{w\}=\\left(w\_1, w\_0\\right)^\{\\mathrm\{T\}\} x=(x1,x0)T,w=(w1,w0)T 。

当然这也只是输入一个数据样本的形式，我们还可以采用更加精简的表达式：让多个数据样本同时在一个公式中出现。

即将输入  x ^ \\hat\{x\} x^ 和 输出  y ^ \\hat\{y\} y^ 都增加一个维度，  x ⃗ \\vec\{x\} x 升级为矩阵  X X X， y ^ \\hat\{y\} y^ 升级为向量  y ^ ⃗ \\vec\{\\hat\{y\}\} y^

最终结果：

y ^ → = X ⋅ w ⃗ \\overrightarrow\{\\hat\{y\}\}=\\boldsymbol\{X\} \\cdot \\vec\{w\} y^=X⋅w

损失函数L 可以表示为：

L ( w 1 , w 0 ) = ∣ y ^ → − y ⃗ ∣ 2 L\\left(w\_1, w\_0\\right)=|\\overrightarrow\{\\hat\{y\}\}-\\vec\{y\}|^2 L(w1,w0)=∣y^−y∣2

###### 5. 训练 ######

训练就是不断地通过前向传播和反向传播, 对参数  w ⃗ \\vec\{w\} w 进行调优, 最终让损失函数的损失值  L L L 达到 最小的过程。

我们将前向传播分为两步: 第 1 步是将输人  x ⃗ \\vec\{x\} x 和参数  w ⃗ \\vec\{w\} w 按照直线公式计算后得到输出  y ^ → \\overrightarrow\{\\hat\{y\}\} y^; 第 2 步是将输出  y ^ → \\overrightarrow\{\\hat\{y\}\} y^ 和  y ⃗ \\vec\{y\} y 输人损失函数计算后得到损失值  L L L 。接着进行反向传播, 即 求出损失值的梯度向量  ∇ L \\nabla L ∇L, 然后使用梯度下降法更新参数  w ⃗ \\vec\{w\} w 。

训练流程：

![在这里插入图片描述][45c9def1e1f747ed8ad4b3d976665489.png_pic_center]

[d0531dc9a6464121989b3b064fe5e2dc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/290be2b80ee34951926f87c17e83f1ed.png
[45c9def1e1f747ed8ad4b3d976665489.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bfc603d5889f44d0829b02913b6ad026.png