PyTorch深度学习入门 Tensor基础 1.2 Autograd 2. 基本原理

浅浅的花香味﹌ 2024-03-27 17:18 86阅读 0赞

#### PyTorch深度学习入门 ####

![在这里插入图片描述][5d4c408d75854282a7a519cce4b7340d.png_pic_center]

##### Tensor基础 #####

###### 2. 基本原理 ######

我们之前的微分示例的计算过程：

![在这里插入图片描述][dfd6c271626d4d7880caae4f61b469dd.png_pic_center]

x ⃗ ， z ⃗ ， y \\vec\{x\}，\\vec\{z\}，y x，z，y 被当作节点，运行过程可以被抽象为信息流。

![在这里插入图片描述][fd813128040340e5a6d0ebf75aa969d3.png_pic_center]

复杂的计算也可以被抽象成一张图

![在这里插入图片描述][67c7afa1cc1f452bb07aa64c0bd46dbb.png]

*  实心圆：中间节点
 *  虚线圆：叶子节点
 *  箭头：信息流
 *  实线圆：输出节点

叶子节点是图的末端，没有信息流经过，在神经网络中就是输入值和神经网络的参数。

Tensor在自动微分方面有3个重要属性：requires\_grad、grad和grad\_fn。

*  requires\_grad属性是一个布尔值，默认为False。当requires\_grad为True时，表示该Tensor需要自动微分。
 *  grad属性用于存储Tensor的微分值。
 *  grad\_fn属性用于存储Tensor的微分函数。

当叶子节点的requires\_grad为True时，信息流经过该节点时，所有中间节点的requires\_grad属性都会变成True,只要在输出节点调用反向传播函数backward(),PyTorch就会自动求出叶子节点的微分值并更新存储在叶子节点的grad属性中。

【注意】只有叶子节点的grad属性能被更新。

在我们之前那个示例中， x ⃗ 是叶子节点， z ⃗ 是中间节点， y 是输出节点。 \\vec\{x\} 是叶子节点，\\vec\{z\} 是中间节点，y是输出节点。 x是叶子节点，z是中间节点，y是输出节点。

[5d4c408d75854282a7a519cce4b7340d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/664703b320b44c7197cccc318ce6ea85.png
[dfd6c271626d4d7880caae4f61b469dd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/b2f7468a8aa340d2819f85806360ab33.png
[fd813128040340e5a6d0ebf75aa969d3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ff842c79311a47a88f58146113bd7172.png
[67c7afa1cc1f452bb07aa64c0bd46dbb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/de38c2c876dd451f87b5b704d80e1faa.png