直观理解梯度，以及偏导数、方向导数和法向量等

本是古典何须时尚 2023-06-09 15:21 21阅读 0赞

博客：[blog.shinelee.me][] | [博客园][Link 1] | [CSDN][]

# 写在前面 #

梯度是微积分中的基本概念，也是机器学习解优化问题经常使用的数学工具（梯度下降算法），虽然常说常听常见，但其细节、物理意义以及几何解释还是值得深挖一下，这些不清楚，梯度就成了“熟悉的陌生人”，仅仅“记住就完了”在用时难免会感觉不踏实，为了“用得放心”，本文将尝试直观地回答以下几个问题，

*  梯度与偏导数的关系？
 *  梯度与方向导数的关系？
 *  为什么说梯度方向是上升最快的方向，负梯度方向为下降最快的方向？
 *  梯度的模有什么物理意义？
 *  等高线图中绘制的梯度为什么垂直于等高线？
 *  全微分与隐函数的梯度有什么关系？
 *  梯度为什么有时又成了法向量？

闲话少说，书归正传。**在全篇“作用域”内，假定函数可导。**

# 偏导数 #

在博文《单变量微分、导数与链式法则 [博客园][Link 2] | [CSDN][CSDN 1] | [blog.shinelee.me][blog.shinelee.me 1]》中，我们回顾了常见初等函数的导数，概括地说，

**导数是一元函数的变化率（斜率）**。导数也是函数，是函数的变化率与位置的关系。

如果是多元函数呢？则为**偏导数**。

**偏导数是多元函数“退化”成一元函数时的导数**，这里“退化”的意思是**固定其他变量的值，只保留一个变量**，依次保留每个变量，则 N N N元函数有 N N N个偏导数。

以二元函数为例，令 z = f ( x , y ) z=f(x,y) z=f(x,y)，绘制在3维坐标系如下图所示，

![z = f(x, y)][z _ f_x_ y]

在分别固定 y y y和 x x x的取值后得到下图中的黑色曲线——“退化”为一元函数，二维坐标系中的曲线——则**偏导数** ∂ z ∂ x \\frac\{\\partial \{z\}\}\{\\partial \{x\}\} ∂x∂z和 ∂ z ∂ y \\frac\{\\partial z\}\{\\partial y\} ∂y∂z分别为**曲线的导数（切线斜率）**。

![partial derivative x][]

![partial derivative y][]

由上可知，一个变量对应一个坐标轴，**偏导数为函数在每个位置处沿着自变量坐标轴方向上的导数（切线斜率）**。

![Partial derivative][]

# 方向导数 #

如果是方向不是沿着坐标轴方向，而是任意方向呢？则为**方向导数**。如下图所示，点 P P P位置处红色箭头方向的方向导数为黑色切线的斜率，来自链接[Directional Derivative][]

![Directional Derivative][Directional Derivative 1]

方向导数为函数在某一个方向上的导数，具体地，定义 x y xy xy平面上一点 ( a , b ) (a, b) (a,b)以及单位向量 u ⃗ = ( cos ⁡ θ , sin ⁡ θ ) \\vec u = (\\cos \\theta ,\\sin \\theta ) u=(cosθ,sinθ)，在曲面 z = f ( x , y ) z=f(x, y) z=f(x,y)上，从点 ( a , b , f ( a , b ) ) (a,b, f(a,b)) (a,b,f(a,b))出发，沿 u ⃗ = ( cos ⁡ θ , sin ⁡ θ ) \\vec u = (\\cos \\theta ,\\sin \\theta ) u=(cosθ,sinθ)方向走 t t t单位长度后，函数值 z z z为 F ( t ) = f ( a + t cos ⁡ θ , b + t sin ⁡ θ ) F(t)=f(a+t \\cos \\theta, b + t \\sin \\theta) F(t)=f(a\+tcosθ,b\+tsinθ)，则点 ( a , b ) (a,b) (a,b)处 u ⃗ = ( cos ⁡ θ , sin ⁡ θ ) \\vec u = (\\cos \\theta ,\\sin \\theta ) u=(cosθ,sinθ)方向的方向导数为：  
 d d t f ( a + t cos ⁡ θ , b + t sin ⁡ θ ) ∣ t = 0 = lim ⁡ t → 0 f ( a + t cos ⁡ θ , b + t sin ⁡ θ ) − f ( a , b ) t = lim ⁡ t → 0 f ( a + t cos ⁡ θ , b + t sin ⁡ θ ) − f ( a , b + t sin ⁡ θ ) t + lim ⁡ t → 0 f ( a , b + t sin ⁡ θ ) − f ( a , b ) t = ∂ ∂ x f ( a , b ) d x d t + ∂ ∂ y f ( a , b ) d y d t = f x ( a , b ) cos ⁡ θ + f y ( a , b ) sin ⁡ θ = ( f x ( a , b ) , f y ( a , b ) ) ⋅ ( cos ⁡ θ , sin ⁡ θ ) \\begin\{aligned\} &\\left.\\frac\{d\}\{d t\} f(a+t \\cos \\theta, b+t \\sin \\theta)\\right|\_\{t=0\} \\\\=& \\lim \_\{t \\rightarrow 0\} \\frac\{f(a+t \\cos \\theta, b+t \\sin \\theta) - f(a, b)\}\{t\} \\\\=& \\lim \_\{t \\rightarrow 0\} \\frac\{f(a+t \\cos \\theta, b+t \\sin \\theta) - f(a, b+t \\sin \\theta)\}\{t\} + \\lim \_\{t \\rightarrow 0\} \\frac\{f(a, b+t \\sin \\theta) - f(a, b)\}\{t\} \\\\=& \\frac\{\\partial\}\{\\partial x\} f(a, b) \\frac\{d x\}\{d t\}+\\frac\{\\partial\}\{\\partial y\} f(a, b) \\frac\{d y\}\{d t\} \\\\=& f\_x (a, b) \\cos \\theta+ f\_y (a, b) \\sin \\theta \\\\=&\\left(f\_x (a, b), f\_y (a, b)\\right) \\cdot(\\cos \\theta, \\sin \\theta) \\end\{aligned\} =====dtdf(a\+tcosθ,b\+tsinθ)∣∣∣∣t=0t→0limtf(a\+tcosθ,b\+tsinθ)−f(a,b)t→0limtf(a\+tcosθ,b\+tsinθ)−f(a,b\+tsinθ)\+t→0limtf(a,b\+tsinθ)−f(a,b)∂x∂f(a,b)dtdx\+∂y∂f(a,b)dtdyfx(a,b)cosθ\+fy(a,b)sinθ(fx(a,b),fy(a,b))⋅(cosθ,sinθ)  
上面推导中使用了链式法则。其中， f x ( a , b ) f\_x (a, b) fx(a,b)和 f y ( a , b ) f\_y (a, b) fy(a,b)分别为函数在 ( a , b ) (a, b) (a,b)位置的偏导数。由上面的推导可知：

该位置处，任意方向的**方向导数为偏导数的线性组合，系数为该方向的单位向量**。当该方向与坐标轴正方向一致时，方向导数即偏导数，换句话说，**偏导数为坐标轴方向上的方向导数，其他方向的方向导数为偏导数的合成**。

写成向量形式，**偏导数构成的向量**为 ∇ f ( a , b ) = ( f x ( a , b ) , f y ( a , b ) ) \\nabla f(a, b) = (f\_x (a, b), f\_y (a, b)) ∇f(a,b)=(fx(a,b),fy(a,b))，称之为**梯度**。

# 梯度 #

**梯度**，写作 ∇ f \\nabla f ∇f，二元时为 ( ∂ z ∂ x , ∂ z ∂ y ) (\\frac\{\\partial\{z\}\}\{\\partial\{x\}\}, \\frac\{\\partial\{z\}\}\{\\partial\{y\}\}) (∂x∂z,∂y∂z)，多元时为 ( ∂ z ∂ x , ∂ z ∂ y , …   ) (\\frac\{\\partial\{z\}\}\{\\partial\{x\}\}, \\frac\{\\partial\{z\}\}\{\\partial\{y\}\},\\dots) (∂x∂z,∂y∂z,…)。

我们继续上面方向导数的推导， ( a , b ) (a,b) (a,b)处 θ \\theta θ方向上的方向导数为  
 ( f x ( a , b ) , f y ( a , b ) ) ⋅ ( cos ⁡ θ , sin ⁡ θ ) = ∣ ( ( f x ( a , b ) , f y ( a , b ) ) ∣ ⋅ ∣ 1 ∣ ⋅ cos ⁡ ϕ = ∣ ∇ f ( a , b ) ∣ ⋅ cos ⁡ ϕ \\begin\{aligned\} &\\left(f\_x (a, b), f\_y (a, b)\\right) \\cdot(\\cos \\theta, \\sin \\theta) \\\\ =& |((f\_x (a, b), f\_y (a, b))| \\cdot |1| \\cdot \\cos \\phi \\\\=& |\\nabla f(a,b)| \\cdot \\cos \\phi \\end\{aligned\} ==(fx(a,b),fy(a,b))⋅(cosθ,sinθ)∣((fx(a,b),fy(a,b))∣⋅∣1∣⋅cosϕ∣∇f(a,b)∣⋅cosϕ  
其中， ϕ \\phi ϕ为 ∇ f ( a , b ) \\nabla f(a,b) ∇f(a,b)与 u ⃗ \\vec u u的夹角，显然，当 ϕ = 0 \\phi = 0 ϕ=0即 u ⃗ \\vec u u与梯度 ∇ f ( a , b ) \\nabla f(a,b) ∇f(a,b)**同向时**，**方向导数取得最大值**，**最大值为梯度的模** ∣ ∇ f ( a , b ) ∣ |\\nabla f(a,b)| ∣∇f(a,b)∣，当 ϕ = π \\phi = \\pi ϕ=π即 u ⃗ \\vec u u与梯度 ∇ f ( a , b ) \\nabla f(a,b) ∇f(a,b)**反向时**，**方向导数取得最小值，最小值为梯度模的相反数**。此外，根据上面方向导数的公式可知，在夹角 ϕ < π 2 \\phi < \\frac\{\\pi\}\{2\} ϕ<2π时方向导数为正，表示 u ⃗ \\vec u u方向函数值上升， ϕ > π 2 \\phi > \\frac\{\\pi\}\{2\} ϕ>2π时方向导数为负，表示该方向函数值下降。

至此，方才有了**梯度的几何意义**：

1.  当前位置的**梯度方向**，为函数在该位置处**方向导数最大的方向**，也是函数值**上升最快的方向**，反方向为下降最快的方向；
2.  当前位置的**梯度长度（模）**，为最大方向导数的值。

# 等高线图中的梯度 #

在讲解各种优化算法时，我们经常看到目标函数的等高线图示意图，如下图所示，来自链接[Applet: Gradient and directional derivative on a mountain][Applet_ Gradient and directional derivative on a mountain]，

![Kl27an.png][]

图中，红点为当前位置，红色箭头为梯度，绿色箭头为其他方向，其与梯度的夹角为 θ \\theta θ。

将左图中 z = f ( x , y ) z=f(x, y) z=f(x,y)曲面上的等高线投影到 x y xy xy平面，得到右图的等高线图。

**梯度与等高线垂直**。为什么呢？

等高线，顾名思义，即这条线上的点高度（函数值）相同，令某一条等高线为 z = f ( x , y ) = C z=f(x,y)=C z=f(x,y)=C， C C C为常数，两边同时全微分，如下所示

d z = ∂ f ∂ x d x + ∂ f ∂ y d y = ( ∂ f ∂ x , ∂ f ∂ y ) ⋅ ( d x , d y ) = d C = 0 \\begin\{aligned\} dz = &\\frac\{\\partial f\}\{\\partial x\} dx + \\frac\{\\partial f\}\{\\partial y\} dy \\\\=& (\\frac\{\\partial f\}\{\\partial x\}, \\frac\{\\partial f\}\{\\partial y\}) \\cdot (dx, dy) \\\\=& dC = 0\\end\{aligned\} dz===∂x∂fdx\+∂y∂fdy(∂x∂f,∂y∂f)⋅(dx,dy)dC=0

这里，**两边同时全微分的几何含义是，在当前等高线上挪动任意一个极小单元，等号两侧的变化量相同**。 f ( x , y ) f(x, y) f(x,y)的变化量有两个来源，一个由 x x x的变化带来，另一个由 y y y的变化带来，在一阶情况下，由 x x x带来的变化量为 ∂ f ∂ x d x \\frac\{\\partial f\}\{\\partial x\} dx ∂x∂fdx，由 y y y带来的变化量为 ∂ f ∂ y d y \\frac\{\\partial f\}\{\\partial y\} dy ∂y∂fdy，两者叠加为 z z z的总变化量，等号右侧为常数，因为我们指定在当前等高线上挪动一个极小单元，其变化量为0，左侧等于右侧。进一步拆分成向量内积形式， ( ∂ f ∂ x , ∂ f ∂ y ) (\\frac\{\\partial f\}\{\\partial x\}, \\frac\{\\partial f\}\{\\partial y\}) (∂x∂f,∂y∂f)为梯度， ( d x , d y ) (dx, dy) (dx,dy)为该点指向任意方向的极小向量，因为两者内积为0，所以两者垂直。自然不难得出**梯度与等高线垂直**的结论。

更进一步地，梯度方向指向函数上升最快的方向，在等高线图中，**梯度指向高度更高的等高线**。

# 隐函数的梯度 #

同理，对于隐函数 f ( x , y ) = 0 f(x,y)=0 f(x,y)=0，也可以看成是一种等高线。二元时，两边同时微分，梯度垂直于曲线；多元时，两边同时微分，梯度垂直于高维曲面。

即，**隐函数的梯度为其高维曲面的法向量**。

有了法向量，**切线或切平面**也就不难计算得到了。令曲线 f ( x , y ) f(x , y) f(x,y)上一点为 ( a , b ) (a,b) (a,b)，通过全微分得该点的梯度为 ( f x , f y ) (f\_x, f\_y) (fx,fy)，则该点处的切线为 f x ( x − a ) + f y ( y − b ) = 0 f\_x (x-a) + f\_y (y-b) = 0 fx(x−a)\+fy(y−b)=0，相当于将上面的微分向量 ( d x , d y ) (dx, dy) (dx,dy)替换为 ( x − a , y − b ) (x-a, y-b) (x−a,y−b)，其几何意义为法向量垂直切平面上的任意向量。

# 小结 #

至此，文章开篇几个问题的答案就不难得出了，

*  偏导数构成的向量为梯度；
 *  方向导数为梯度在该方向上的合成，系数为该方向的单位向量；
 *  梯度方向为方向导数最大的方向，梯度的模为最大的方向导数；
 *  微分的结果为梯度与微分向量的内积
 *  等高线全微分的结果为0，所以其梯度垂直于等高线，同时指向高度更高的等高线
 *  隐函数可以看成是一种等高线，其梯度为高维曲面（曲线）的法向量

以上。

# 参考 #

*  [Gradients and Partial Derivatives][]
 *  [Directional Derivative][]
 *  [Applet: Gradient and directional derivative on a mountain][Applet_ Gradient and directional derivative on a mountain]
 *  [ Gradient descent ][Gradient descent]
 *  [ Gradient ][Gradient]
 *  [ Partial derivative ][Partial derivative 1]
 *  [ppt Partial derivative][]

[blog.shinelee.me]: https://blog.shinelee.me/
[Link 1]: https://www.cnblogs.com/shine-lee/
[CSDN]: https://blog.csdn.net/blogshinelee
[Link 2]: https://www.cnblogs.com/shine-lee/p/10324601.html
[CSDN 1]: https://blog.csdn.net/firelx/article/details/86544782
[blog.shinelee.me 1]: https://blog.shinelee.me/2019/01-26-%E5%8D%95%E5%8F%98%E9%87%8F%E5%BE%AE%E5%88%86%E3%80%81%E5%AF%BC%E6%95%B0%E4%B8%8E%E9%93%BE%E5%BC%8F%E6%B3%95%E5%88%99.html
[z _ f_x_ y]: /images/20230531/36a8bb667e5a438c91ca3ecfda34bc22.png
[partial derivative x]: /images/20230531/d3ad602d947f45968cb74f05526ef72d.png
[partial derivative y]: /images/20230531/2004f18569d64737b6bb1820441c4f64.png
[Partial derivative]: /images/20230531/6aaed0ce96714b7f81beffa5dc23aba1.png
[Directional Derivative]: https://www.geogebra.org/m/Bx8nFMNc
[Directional Derivative 1]: /images/20230531/838d0e856ce74dcf84d9ab673ac9bcb2.png
[Applet_ Gradient and directional derivative on a mountain]: https://mathinsight.org/applet/gradient_directional_derivative_mountain
[Kl27an.png]: /images/20230531/f53504d12266486ab2adc0a4408eb47b.png
[Gradients and Partial Derivatives]: https://www.bilibili.com/video/av71525135
[Gradient descent]: https://wiki2.org/en/Gradient_descent
[Gradient]: https://wiki2.org/en/Gradient
[Partial derivative 1]: https://wiki2.org/En/Partial_derivative
[ppt Partial derivative]: https://www.slideshare.net/NidhuSharma1/partial-derivative1