Pytorch优化器全总结（三）牛顿法、BFGS、L-BFGS 含代码

àì夳堔傛蜴生んèń 2023-09-29 18:16 29阅读 0赞

**目录**

写在前面

一、牛顿法

1.看图理解牛顿法

2.公式推导-三角函数

3.公式推导-二阶泰勒展开

二、BFGS公式推导

三、L-BFGS

四、算法迭代过程

五、代码实现

1.torch.optim.LBFGS说明

2.使用LBFGS优化模型

--------------------

**优化器系列文章列表**

[Pytorch优化器全总结（一）SGD、ASGD、Rprop、Adagrad][Pytorch_SGD_ASGD_Rprop_Adagrad]

[Pytorch优化器全总结（二）Adadelta、RMSprop、Adam、Adamax、AdamW、NAdam、SparseAdam][Pytorch_Adadelta_RMSprop_Adam_Adamax_AdamW_NAdam_SparseAdam]

[Pytorch优化器全总结（三）牛顿法、BFGS、L-BFGS 含代码][Pytorch_BFGS_L-BFGS]

[Pytorch优化器全总结（四）常用优化器性能对比 含代码][Pytorch_]

## 写在前面 ##

这篇文章是优化器系列的第三篇，主要介绍牛顿法、BFGS和L-BFGS，其中BFGS是拟牛顿法的一种，而L-BFGS是对BFGS的优化，那么事情还要从牛顿法开始说起。

## 一、牛顿法 ##

函数最优化算法方法不唯一，其中耳熟能详的包括梯度下降法，梯度下降法是一种基于迭代的一阶优化方法，优点是计算简单；牛顿法也是一种很重要的优化方法，是基于迭代的二阶优化方法，优点是迭代次数少，收敛速度很快。下面我们简要介绍一下牛顿法。

### 1.看图理解牛顿法 ###

最优化问题就是寻找能使函数最小化的x，所以目标函数应当是一个凸函数（起码是局部凸函数），假如一个函数如下图：

![3c990bc285ee44c981029945a2657a10.jpeg][]

**图1**

他的一阶导数可能长下面这个样子：

![a84761a281d4458eb108662ada2177e8.jpeg][]

**图2**

很显然函数在![x\_n][x_n]处取得最小值，同时这个点的导数等于0，如果使用梯度下降，经过多次迭代，x的取值会慢慢接近![x\_n][x_n]，我们都能想象这个过程。

如果使用牛顿法，x也会逼近![x\_n][x_n]，不过速度会快很多，示例图如下：

![c4bc56e900884b5b805a368fd3fba834.gif][]

**图3**

这个过程可以这样描述：

a.在X轴上随机一点![x\_\{1\}][x_1],经过![x\_\{1\}][x_1]做X轴的垂线,得到垂线与函数图像的交点![f(x\_\{1\})][f_x_1].

b.通过![f(x\_\{1\})][f_x_1]做函数的切线,得到切线与X轴的交点![x\_\{2\}][x_2].

c.迭代a/b两步，当前后两次求的x相同或者两个值的差小于一个阈值的时候，我们就认为找到了![x\_n][x_n]。

三个步骤的难点在于b，如何快速的找到切线与X轴的交点，下面有两种计算方式，思想不同但结果是一样的。

### 2.公式推导-三角函数 ###

![e7e7d2180f8e42e1aa5508d943b41692.png][]

**图4**

如图4，蓝色的线是函数的![f(x)][f_x]的导数![f^\{'\}(x)][f_x 1]，则曲线在![x\_1][x_1 1]处的导数为![f^\{''\}(x\_1)][f_x_1 1]，我们要求![x\_2][x_2 1]，根据三角函数有：

![f^\{''\}(x\_1)=\\frac\{f^\{'\}(x\_1)\}\{x\_1-x\_2\}][f_x_1_frac_f_x_1_x_1-x_2] （1）

得出：

![x\_2=x\_1-\\frac\{f^\{'\}(x\_1)\}\{f^\{''\}(x\_1)\}][x_2_x_1-_frac_f_x_1_f_x_1] （2）

利用![x\_2][x_2 1]开始进行下一轮的迭代。迭代公式可以简化如下：

![x\_\{n+1\}=x\_\{n\}-\\frac\{f^\{'\}(x\_\{n\})\}\{f^\{''\}(x\_\{n\})\}][x_n_1_x_n_-_frac_f_x_n_f_x_n] （3）

### 3.公式推导-二阶泰勒展开 ###

任意一点在![x\_k][x_k]附近的二阶泰勒展开公式为：

![f(x)=f(x\_n)+f^\{'\}(x\_n)(x-x\_n)+\\frac\{1\}\{2\}f^\{''\}(x\_n)(x-x\_n)^2][f_x_f_x_n_f_x_n_x-x_n_frac_1_2_f_x_n_x-x_n_2] （4）

对![f(x)][f_x]求导：

![f^\{'\}(x)=f^\{'\}(x\_n)+f^\{''\}(x\_n)(x-x\_n)][f_x_f_x_n_f_x_n_x-x_n] （5）

令![f^\{'\}(x)=0][f_x_0]:

![x=x\_\{n\}-\\frac\{f^\{'\}(x\_\{n\})\}\{f^\{''\}(x\_\{n\})\}][x_x_n_-_frac_f_x_n_f_x_n] （6）

写成迭代形式：

![x\_\{n+1\}=x\_\{n\}-\\frac\{f^\{'\}(x\_\{n\})\}\{f^\{''\}(x\_\{n\})\}][x_n_1_x_n_-_frac_f_x_n_f_x_n] （7）

可以看到使用三角函数和二阶泰勒展开最终得到的结果是一样的。虽然牛顿法收敛速度很快，但是当x的维度特别多的时候，我们想求得![f^\{''\}(x)][f_x 2]是非常困难的，而牛顿法又是一个迭代算法,所以这个困难我们还要面临无限多次，导致了直接使用牛顿法最为优化算法很难实际落地。为了解决这个问题出现了拟牛顿法，下面介绍一种拟牛顿法BFGS，主要就是想办法一种方法代替二阶导数。

## 二、BFGS公式推导 ##

函数 ![gif.latex_f_5Cleft_space_28_space_x_space_5Cright_space_29][]在 ![gif.latex_x_x_7Bk_1_7D][]处的二阶泰勒展开式为：

![f(x)=f(x\_\{n+1\})+f^\{'\}(x\_\{n+1\})(x-x\_\{n+1\})+\\frac\{1\}\{2\}f^\{''\}(x\_\{n+1\})(x-x\_\{n+1\})^2][f_x_f_x_n_1_f_x_n_1_x-x_n_1_frac_1_2_f_x_n_1_x-x_n_1_2] （8）

当x为向量的时候，上式写成：

![f(x)=f(x\_\{n+1\})+\\bigtriangledown f(x\_\{n+1\})(x-x\_\{n+1\})+\\frac\{1\}\{2\}\\bigtriangledown^2 f(x\_\{n+1\})(x-x\_\{n+1\})^2][f_x_f_x_n_1_bigtriangledown f_x_n_1_x-x_n_1_frac_1_2_bigtriangledown_2 f_x_n_1_x-x_n_1_2]

（9）

令![G\_\{n+1\}=\\bigtriangledown ^2f(x\_\{n+1\})][G_n_1_bigtriangledown _2f_x_n_1]，同时对![f(x)][f_x]求导：

![\\bigtriangledown f(x)=\\bigtriangledown f(x\_\{n+1\})+G\_\{n+1\}(x-x\_\{n+1\})][bigtriangledown f_x_bigtriangledown f_x_n_1_G_n_1_x-x_n_1] （10）

接下来我们要想办法去掉![G\_\{n+1\}][G_n_1]，我们使用![B\_\{n+1\}][B_n_1]代替![G\_\{n+1\}][G_n_1]，![B\_\{n+1\}][B_n_1]是在迭代中一点点计算出来的而不使用二阶导数。

上式变为:

![\\bigtriangledown f(x)=\\bigtriangledown f(x\_\{n+1\})+B\_\{n+1\}(x-x\_\{n+1\})][bigtriangledown f_x_bigtriangledown f_x_n_1_B_n_1_x-x_n_1] （11）

![B\_\{n+1\}(x\_\{n+1\}-x)=\\bigtriangledown f(x\_\{n+1\})-\\bigtriangledown f(x)][B_n_1_x_n_1_-x_bigtriangledown f_x_n_1_-_bigtriangledown f_x] （12）

我们认为每次迭代![B\_k][B_k]与上次变化![E\_k][E_k]，形式如下：

![B\_\{n+1\}=B\_\{n\}+E\_\{n\}][B_n_1_B_n_E_n] （13）

令：

![y\_n=\\bigtriangledown f(x\_\{n+1\})-\\bigtriangledown f(x\_n)][y_n_bigtriangledown f_x_n_1_-_bigtriangledown f_x_n]， ![s\_n=x\_\{n+1\}-x\_n][s_n_x_n_1_-x_n] （14）

将式（13）（14）带入式子（12）：

![(B\_n+E\_n)s\_n = y\_n][B_n_E_n_s_n _ y_n] （15）

令：

![E\_n=\\alpha u\_nu\_\{n\}^\{T\}+\\beta v\_kv\_\{k\}^\{T\}][E_n_alpha u_nu_n_T_beta v_kv_k_T] （16）

其中 ![u\_n,v\_n][u_n_v_n]均为 ![gif.latex_n_5Ctimes_space_1][]的向量，带入（15）

![(B\_n+\\alpha u\_nu\_\{n\}^\{T\}+\\beta v\_nv\_\{n\}^\{T\})s\_n=y\_n][B_n_alpha u_nu_n_T_beta v_nv_n_T_s_n_y_n] （17）

![\\alpha (u\_\{n\}^\{T\}s\_n)u\_n+\\beta (v\_\{n\}^\{T\}s\_n)v\_n=y\_n-B\_ns\_n][alpha _u_n_T_s_n_u_n_beta _v_n_T_s_n_v_n_y_n-B_ns_n] （18）

已知：![u\_\{n\}^\{T\}s\_n,v\_\{n\}^\{T\}s\_n][u_n_T_s_n_v_n_T_s_n] 为实数，![y\_n-B\_ns\_n][y_n-B_ns_n] 为向量。式（18）中，参数 ![gif.latex_5Calpha][]和 ![gif.latex_5Cbeta][]解的可能性有很多，我们取特殊的情况，假设 ![u\_n=rB\_ns\_n,v\_n=\\theta y\_n][u_n_rB_ns_n_v_n_theta y_n]。带入（16）得：

![E\_n=\\alpha r^2B\_ns\_ns\_\{n\}^\{T\}B\_n+\\beta \\theta^2 y\_ny\_\{n\}^\{T\}][E_n_alpha r_2B_ns_ns_n_T_B_n_beta _theta_2 y_ny_n_T] （19）

将 ![u\_n=rB\_ns\_n,v\_n=\\theta y\_n][u_n_rB_ns_n_v_n_theta y_n]带入（18）得：

![\\alpha \[(rB\_ns\_n)^Ts\_n\](rB\_ns\_n)+\\beta \[(\\theta y\_n)^T\](\\theta y\_n)=y\_n-B\_ns\_n][alpha _rB_ns_n_Ts_n_rB_ns_n_beta _theta y_n_T_theta y_n_y_n-B_ns_n] （20）

![\[\\alpha r^2(s\_\{n\}^\{T\}B\_ns\_n)+1\]+\[\\beta \\theta ^2(y\_\{n\}^\{T\}s\_n)-1\](y\_n)=0][alpha r_2_s_n_T_B_ns_n_1_beta _theta _2_y_n_T_s_n_-1_y_n_0] （21）

令 ![\\alpha r^2(s\_\{n\}^\{T\}B\_ns\_n)+1=0][alpha r_2_s_n_T_B_ns_n_1_0]，则：

![\\alpha r^2=-\\frac\{1\}\{s\_\{n\}^\{T\}B\_ns\_n\}][alpha r_2_-_frac_1_s_n_T_B_ns_n] （22）

令![\\beta \\theta ^2(y\_\{n\}^\{T\}s\_n)-1=0][beta _theta _2_y_n_T_s_n_-1_0]，则

![\\beta \\theta ^2=\\frac\{1\}\{y\_\{n\}^\{T\}s\_n\}][beta _theta _2_frac_1_y_n_T_s_n] （23）

将式（22）和（23）带入（19）：

![E\_n=-\\frac\{B\_ns\_ns\_\{n\}^\{T\}B\_n\}\{s\_\{n\}^TB\_ns\_n\}+\\frac\{y\_ny\_\{n\}^\{T\}\}\{y\_\{n\}^\{T\}s\_k\}][E_n_-_frac_B_ns_ns_n_T_B_n_s_n_TB_ns_n_frac_y_ny_n_T_y_n_T_s_k] （24）

将（24）带入（13）得到![B\_n][B_n]的迭代公式：

![B\_\{n+1\}=B\_n-\\frac\{B\_ns\_ns\_\{n\}^\{T\}B\_n\}\{s\_\{n\}^TB\_ns\_n\}+\\frac\{y\_ny\_\{n\}^\{T\}\}\{y\_\{n\}^\{T\}s\_k\}][B_n_1_B_n-_frac_B_ns_ns_n_T_B_n_s_n_TB_ns_n_frac_y_ny_n_T_y_n_T_s_k] （24）

当x为向量的时候，式（7）写成：

![x\_\{n+1\}=x\_n-B\_\{n\}^\{-1\}\\bigtriangledown f(x\_n)][x_n_1_x_n-B_n_-1_bigtriangledown f_x_n] （25）

加上学习率得到BFGS的迭代公式：

![x\_\{n+1\}=x\_n-\\eta(B\_\{n\}^\{-1\}\\bigtriangledown f(x\_n))][x_n_1_x_n-_eta_B_n_-1_bigtriangledown f_x_n] （26）

我们发现，还需要求![B\_n][B_n]的逆，这里可以引入sherman-morrism公式，求解![B\_n][B_n]的逆：

![B\_\{n+1\}^\{-1\}=(I-\\frac\{s\_ny\_n\}\{y\_\{n\}^\{T\}s\_n\})^TB\_\{n\}^\{-1\}(I-\\frac\{y\_ns\_\{n\}^\{T\}\}\{y\_\{n\}^\{T\}s\_n\})+\\frac\{s\_ns\_\{n\}^\{T\}\}\{y\_\{n\}^\{T\}s\_n\}][B_n_1_-1_I-_frac_s_ny_n_y_n_T_s_n_TB_n_-1_I-_frac_y_ns_n_T_y_n_T_s_n_frac_s_ns_n_T_y_n_T_s_n] （27）

我们用![H][]代替![B^\{-1\}][B_-1]，得到最终的BFGS迭代公式和![H][]的迭代公式：

![x\_\{n+1\}=x\_n-\\eta(H\_\{n\}\\bigtriangledown f(x\_n)][x_n_1_x_n-_eta_H_n_bigtriangledown f_x_n] （28）

![H\_\{n+1\}=(I-\\frac\{s\_ny\_n\}\{y\_\{n\}^\{T\}s\_n\})^TH\_\{n\}(I-\\frac\{y\_ns\_\{n\}^\{T\}\}\{y\_\{n\}^\{T\}s\_n\})+\\frac\{s\_ns\_\{n\}^\{T\}\}\{y\_\{n\}^\{T\}s\_n\}][H_n_1_I-_frac_s_ny_n_y_n_T_s_n_TH_n_I-_frac_y_ns_n_T_y_n_T_s_n_frac_s_ns_n_T_y_n_T_s_n] （29）

其中![s\_n][s_n]是本轮x与上一轮x的差，![y\_n][y_n]是本轮梯度与上一轮梯度的差。

## 三、L-BFGS ##

在BFGS算法中，仍然有缺陷，每次迭代计算需要前次迭代得到的![H\_n][H_n]，![H\_n][H_n]的存储空间至少为N(N+1)/2（N为特征维数），对于高维的应用场景，需要的存储空间将是非常巨大的。为了解决这个问题，就有了L-BFGS算法。L-BFGS即Limited-memory BFGS。 L-BFGS的基本思想就是通过存储前m次迭代的少量数据来替代前一次的矩阵，从而大大减少数据的存储空间。

令![\\rho \_n=\\frac\{1\}\{y\_\{n\}^\{T\}s\_n\},V\_k=I-\\frac\{y\_ns\_\{n\}^\{T\}\}\{y\_\{n\}^\{T\}s\_k\}][rho _n_frac_1_y_n_T_s_n_V_k_I-_frac_y_ns_n_T_y_n_T_s_k]，则式（29）可以表示为：

![H\_\{n+1\}=V\_\{n\}^\{T\}H\_nV\_n+\\rho \_ns\_ns\_\{n\}^\{T\}][H_n_1_V_n_T_H_nV_n_rho _ns_ns_n_T] （30）

若在初始时，假定初始的矩阵![H\_0=I][H_0_I]，则我们可以得到：

![H\_1=V\_\{0\}^\{T\}H\_0V\_0+\\rho \_0s\_0s\_\{0\}^\{T\}][H_1_V_0_T_H_0V_0_rho _0s_0s_0_T] （31）

![H\_2=V\_\{1\}^\{T\}H\_1V\_1+\\rho \_1s\_1s\_\{1\}^\{T\}][H_2_V_1_T_H_1V_1_rho _1s_1s_1_T]

![=V\_\{1\}^\{T\}(V\_\{0\}^\{T\}H\_0V\_0+\\rho \_0s\_0s\_\{0\}^\{T\})+\\rho \_1s\_1s\_\{1\}^\{T\}][V_1_T_V_0_T_H_0V_0_rho _0s_0s_0_T_rho _1s_1s_1_T]

![=V\_\{1\}^\{T\}V\_\{0\}^\{T\}H\_0V\_1+V\_\{1\}^\{T\}\\rho \_0s\_0s\_\{0\}^\{T\}V\_1+\\rho \_1s\_1s\_\{1\}^\{T\}][V_1_T_V_0_T_H_0V_1_V_1_T_rho _0s_0s_0_T_V_1_rho _1s_1s_1_T] （32）

![H\_\{n+1\}=(V\_\{n\}^\{T\}V\_\{n-1\}^\{T\}\\cdots V\_\{1\}^\{T\}V\_\{0\}^\{T\})H\_0(V\_0V\_1\\cdots V\_\{n-1\}V\_n)][H_n_1_V_n_T_V_n-1_T_cdots V_1_T_V_0_T_H_0_V_0V_1_cdots V_n-1_V_n]

![\+(V\_\{n\}^\{T\}V\_\{n-1\}^\{T\}\\cdots V\_\{1\}^\{T\})\\rho \_1s\_1s\_\{1\}^\{T\}(V\_1\\cdots V\_\{n-1\}V\_n)][V_n_T_V_n-1_T_cdots V_1_T_rho _1s_1s_1_T_V_1_cdots V_n-1_V_n]

![\+ \\cdots][_cdots]

![\+V\_\{n\}^\{T\}\\rho \_\{n-1\}s\_\{n-1\}s\_\{n-1\}^\{T\}V\_n][V_n_T_rho _n-1_s_n-1_s_n-1_T_V_n]

![\+\\rho \_ns\_ns\_\{n\}^\{T\}][rho _ns_ns_n_T]

假设当前迭代为n，只保存最近的m次迭代信息，按照上面的方式迭代m次，可以得到如下的公式：

![H\_\{n+1\}=(V\_\{n\}^\{T\}V\_\{n-1\}^\{T\}\\cdots V\_\{n-m\}^\{T\})H\_0(V\_\{n-m\}\\cdots V\_\{n-1\}V\_n)][H_n_1_V_n_T_V_n-1_T_cdots V_n-m_T_H_0_V_n-m_cdots V_n-1_V_n]

![\+(V\_\{n\}^\{T\}V\_\{n-1\}^\{T\}\\cdots V\_\{n-m\}^\{T\})\\rho \_1s\_1s\_\{1\}^\{T\}(V\_\{n-m\}\\cdots V\_\{n-1\}V\_n)][V_n_T_V_n-1_T_cdots V_n-m_T_rho _1s_1s_1_T_V_n-m_cdots V_n-1_V_n]

![\+ \\cdots][_cdots]

![\+V\_\{n\}^\{T\}\\rho \_\{n-1\}s\_\{n-1\}s\_\{n-1\}^\{T\}V\_n][V_n_T_rho _n-1_s_n-1_s_n-1_T_V_n]

![\+\\rho \_ns\_ns\_\{n\}^\{T\}][rho _ns_ns_n_T]

由于![\\rho ,V][rho _V]这些变量都最终可以由s、y两个向量计算得到，因此，我们只需存储最后m次的s、y向量即可算出![H\_\{n+1\}][H_n_1]，加上对角阵![H\_0][H_0]，总共需要存储2\*m+1个N维向量（实际应用中m一般取4到7之间的值，因此需要存储的数据远小于Hesse矩阵）。

## 四、算法迭代过程 ##

1. 选初始点![x\_0][x_0]，最小梯度阈值![\\varepsilon > 0][varepsilon _ 0]，存储最近 m 次的选代数据；

2.初始化![n=0,H\_0=I,r=\\bigtriangledown f(x\_0)][n_0_H_0_I_r_bigtriangledown f_x_0]；

3.如果![||\\bigtriangledown f(x\_\{n+1\})||\\leqslant \\varepsilon][bigtriangledown f_x_n_1_leqslant _varepsilon]，则返回最优解 x，否则转入步骤4；

4.计算本次选代的可行方向![p+n=-r\_k][p_n_-r_k]；

5.计算步长![\\alpha \_k][alpha _k]，用下面的式子进行线搜索；

![f(x\_n+\\alpha \_np\_n)=minf(x\_n-\\alpha p\_n)][f_x_n_alpha _np_n_minf_x_n-_alpha p_n]

6.用下面的更新公式更新x；

![x\_\{n+1\}=x\_n+\\alpha \_np\_n][x_n_1_x_n_alpha _np_n]

7.如果 n大于 m，保留最近 m 次的向量对，删除![s\_\{n-m\},y\_\{n-m\}][s_n-m_y_n-m]；

8.计算并保存向量对

![s\_n=x\_\{n+1\}-x\_n][s_n_x_n_1_-x_n]

![y\_n=\\bigtriangledown f(x\_\{n+1\})-\\bigtriangledown f(x\_\{n\})][y_n_bigtriangledown f_x_n_1_-_bigtriangledown f_x_n 1]

9.用 two-loop recursion算法求：

![r\_n=B\_n\\bigtriangledown f(x\_n)][r_n_B_n_bigtriangledown f_x_n]

10.设置![n=n+1][n_n_1]，转到步骤3

## 五、代码实现 ##

### 1.torch.optim.LBFGS说明 ###

该类实现 LBFGS优化方法。LBFGS是什么已经不用多说了。

Pytorch说明文档：[LBFGS — PyTorch 1.13 documentation][LBFGS _ PyTorch 1.13 documentation]

'''
    lr (float): 学习率 (default: 1)
    max_iter (int): 每个优化步骤的最大迭代次数，就像图3那样迭代 (default: 20)
    max_eval (int): 每次优化函数计算的最大数量，使用了线搜索算法时，每次迭代计数器可能增加不止1，最好使用线搜索算法时再设置这个参数。计数器同时受max_iter 和max_eval约束，先到哪个值直接跳出迭代。(default: max_iter * 1.25).
    tolerance_grad (float): 一阶最优终止公差，就是指yn (default: 1e-5).
    tolerance_change (float): 函数值/参数变化的终止容差,就是指sn (default: 1e-9).
    history_size (int): 更新历史记录大小 (default: 100).
    line_search_fn (str): 使用线搜索算法，只能是'strong_wolfe' 或者None (default: None).
    '''
    class torch.optim.LBFGS(params, lr=1.0, rho=0.9, eps=1e-06, weight_decay=0)

### 2.使用LBFGS优化模型 ###

我们用一个简单的全连接网络并使用LBFGS优化，下面是代码和运行结果，可以看到，损失下降的速度还是很快的。

# coding=utf-8
    #================================================================
    #
    #   File name   : optim_duibi.py
    #   Author      : Faye
    #   Created date: 2022/8/26 17:30
    #   Description :
    #
    #================================================================
    
    import torch
    import torch.utils.data as Data
    import torch.nn.functional as F
    from torch.autograd import Variable
    import matplotlib.pyplot as plt
    
    # 超参数
    LR = 0.01
    BATCH_SIZE = 32
    EPOCH = 12
    
    # 生成假数据
    # torch.unsqueeze() 的作用是将一维变二维，torch只能处理二维的数据
    x = torch.unsqueeze(torch.linspace(-1, 1, 1000), dim=1)  # x data (tensor), shape(100, 1)
    # 0.2 * torch.rand(x.size())增加噪点
    y = x.pow(2) + 0.1 * torch.normal(torch.zeros(*x.size()))
    
    # 定义数据库
    dataset = Data.TensorDataset(x, y)
    
    # 定义数据加载器
    loader = Data.DataLoader(dataset=dataset, batch_size=BATCH_SIZE, shuffle=True, num_workers=0)
    
    
    # 定义pytorch网络
    class Net(torch.nn.Module):
        def __init__(self, n_features, n_hidden, n_output):
            super(Net, self).__init__()
            self.hidden = torch.nn.Linear(n_features, n_hidden)
            self.predict = torch.nn.Linear(n_hidden, n_output)
    
        def forward(self, x):
            x = F.relu(self.hidden(x))
            y = self.predict(x)
            return y
    
    # 定义不同的优化器网络
    net_LBFGS = Net(1, 10, 1)
    
    # 选择不同的优化方法
    opt_LBFGS = torch.optim.LBFGS(net_LBFGS.parameters(), lr=LR, max_iter=20)
    
    nets = [net_LBFGS]
    optimizers = [opt_LBFGS]
    
    # 选择损失函数
    loss_func = torch.nn.MSELoss()
    
    # 不同方法的loss
    loss_LBFGS = []
    
    # 保存所有loss
    losses = [loss_LBFGS]
    
    # 执行训练
    for epoch in range(EPOCH):
        for step, (batch_x, batch_y) in enumerate(loader):
            var_x = Variable(batch_x)
            var_y = Variable(batch_y)
            for net, optimizer, loss_history in zip(nets, optimizers, losses):
                if isinstance(optimizer, torch.optim.LBFGS):
                    def closure():
                        y_pred = net(var_x)
                        loss = loss_func(y_pred, var_y)
                        optimizer.zero_grad()
                        loss.backward()
                        return loss
                    loss = optimizer.step(closure)
                else:
                    # 对x进行预测
                    prediction = net(var_x)
                    # 计算损失
                    loss = loss_func(prediction, var_y)
                    # 每次迭代清空上一次的梯度
                    optimizer.zero_grad()
                    # 反向传播
                    loss.backward()
                    # 更新梯度
                    optimizer.step()
                # 保存loss记录
                loss_history.append(loss.data)
    
    # 画图
    labels = ['LBFGS']
    for i, loss_history in enumerate(losses):
        plt.plot(loss_history, label=labels[i])
    plt.legend(loc='best')
    plt.xlabel('Steps')
    plt.ylabel('Loss')
    plt.ylim((0, 0.2))
    plt.show()

![00a02e08c0ab4c1cb8e14211fb0098de.png][]

牛顿法、BFGS和L-BFGS就介绍到这里，后面我将对比所有优化算法的性能，收藏关注不迷路。

**优化器系列文章列表**

[Pytorch优化器全总结（一）SGD、ASGD、Rprop、Adagrad][Pytorch_SGD_ASGD_Rprop_Adagrad]

[Pytorch优化器全总结（二）Adadelta、RMSprop、Adam、Adamax、AdamW、NAdam、SparseAdam][Pytorch_Adadelta_RMSprop_Adam_Adamax_AdamW_NAdam_SparseAdam]

[Pytorch优化器全总结（三）牛顿法、BFGS、L-BFGS 含代码][Pytorch_BFGS_L-BFGS]

[Pytorch优化器全总结（四）常用优化器性能对比 含代码][Pytorch_]

[Pytorch_SGD_ASGD_Rprop_Adagrad]: https://blog.csdn.net/xian0710830114/article/details/126551268
[Pytorch_Adadelta_RMSprop_Adam_Adamax_AdamW_NAdam_SparseAdam]: https://blog.csdn.net/xian0710830114/article/details/126882921
[Pytorch_BFGS_L-BFGS]: https://blog.csdn.net/xian0710830114/article/details/128419401
[Pytorch_]: https://blog.csdn.net/xian0710830114/article/details/128658682
[3c990bc285ee44c981029945a2657a10.jpeg]: https://img-blog.csdnimg.cn/3c990bc285ee44c981029945a2657a10.jpeg
[a84761a281d4458eb108662ada2177e8.jpeg]: https://img-blog.csdnimg.cn/a84761a281d4458eb108662ada2177e8.jpeg
[x_n]: https://latex.csdn.net/eq?x_n
[c4bc56e900884b5b805a368fd3fba834.gif]: https://img-blog.csdnimg.cn/c4bc56e900884b5b805a368fd3fba834.gif
[x_1]: https://private.codecogs.com/gif.latex?x_%7B1%7D
[f_x_1]: https://private.codecogs.com/gif.latex?f%28x_%7B1%7D%29
[x_2]: https://private.codecogs.com/gif.latex?x_%7B2%7D
[e7e7d2180f8e42e1aa5508d943b41692.png]: https://img-blog.csdnimg.cn/e7e7d2180f8e42e1aa5508d943b41692.png
[f_x]: https://latex.csdn.net/eq?f%28x%29
[f_x 1]: https://latex.csdn.net/eq?f%5E%7B%27%7D%28x%29
[x_1 1]: https://latex.csdn.net/eq?x_1
[f_x_1 1]: https://latex.csdn.net/eq?f%5E%7B%27%27%7D%28x_1%29
[x_2 1]: https://latex.csdn.net/eq?x_2
[f_x_1_frac_f_x_1_x_1-x_2]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20f%5E%7B%27%27%7D%28x_1%29%3D%5Cfrac%7Bf%5E%7B%27%7D%28x_1%29%7D%7Bx_1-x_2%7D
[x_2_x_1-_frac_f_x_1_f_x_1]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20x_2%3Dx_1-%5Cfrac%7Bf%5E%7B%27%7D%28x_1%29%7D%7Bf%5E%7B%27%27%7D%28x_1%29%7D
[x_n_1_x_n_-_frac_f_x_n_f_x_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20x_%7Bn&plus;1%7D%3Dx_%7Bn%7D-%5Cfrac%7Bf%5E%7B%27%7D%28x_%7Bn%7D%29%7D%7Bf%5E%7B%27%27%7D%28x_%7Bn%7D%29%7D
[x_k]: https://latex.csdn.net/eq?x_k
[f_x_f_x_n_f_x_n_x-x_n_frac_1_2_f_x_n_x-x_n_2]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20f%28x%29%3Df%28x_n%29&plus;f%5E%7B%27%7D%28x_n%29%28x-x_n%29&plus;%5Cfrac%7B1%7D%7B2%7Df%5E%7B%27%27%7D%28x_n%29%28x-x_n%29%5E2
[f_x_f_x_n_f_x_n_x-x_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20f%5E%7B%27%7D%28x%29%3Df%5E%7B%27%7D%28x_n%29&plus;f%5E%7B%27%27%7D%28x_n%29%28x-x_n%29
[f_x_0]: https://latex.csdn.net/eq?f%5E%7B%27%7D%28x%29%3D0
[x_x_n_-_frac_f_x_n_f_x_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20x%3Dx_%7Bn%7D-%5Cfrac%7Bf%5E%7B%27%7D%28x_%7Bn%7D%29%7D%7Bf%5E%7B%27%27%7D%28x_%7Bn%7D%29%7D
[f_x 2]: https://latex.csdn.net/eq?f%5E%7B%27%27%7D%28x%29
[gif.latex_f_5Cleft_space_28_space_x_space_5Cright_space_29]: http://latex.codecogs.com/gif.latex?f%5Cleft&space;%28&space;x&space;%5Cright&space;%29
[gif.latex_x_x_7Bk_1_7D]: http://latex.codecogs.com/gif.latex?x=x_%7Bk+1%7D
[f_x_f_x_n_1_f_x_n_1_x-x_n_1_frac_1_2_f_x_n_1_x-x_n_1_2]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20f%28x%29%3Df%28x_%7Bn&plus;1%7D%29&plus;f%5E%7B%27%7D%28x_%7Bn&plus;1%7D%29%28x-x_%7Bn&plus;1%7D%29&plus;%5Cfrac%7B1%7D%7B2%7Df%5E%7B%27%27%7D%28x_%7Bn&plus;1%7D%29%28x-x_%7Bn&plus;1%7D%29%5E2
[f_x_f_x_n_1_bigtriangledown f_x_n_1_x-x_n_1_frac_1_2_bigtriangledown_2 f_x_n_1_x-x_n_1_2]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20f%28x%29%3Df%28x_%7Bn&plus;1%7D%29&plus;%5Cbigtriangledown%20f%28x_%7Bn&plus;1%7D%29%28x-x_%7Bn&plus;1%7D%29&plus;%5Cfrac%7B1%7D%7B2%7D%5Cbigtriangledown%5E2%20f%28x_%7Bn&plus;1%7D%29%28x-x_%7Bn&plus;1%7D%29%5E2
[G_n_1_bigtriangledown _2f_x_n_1]: https://latex.csdn.net/eq?G_%7Bn&plus;1%7D%3D%5Cbigtriangledown%20%5E2f%28x_%7Bn&plus;1%7D%29
[bigtriangledown f_x_bigtriangledown f_x_n_1_G_n_1_x-x_n_1]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%5Cbigtriangledown%20f%28x%29%3D%5Cbigtriangledown%20f%28x_%7Bn&plus;1%7D%29&plus;G_%7Bn&plus;1%7D%28x-x_%7Bn&plus;1%7D%29
[G_n_1]: https://latex.csdn.net/eq?G_%7Bn&plus;1%7D
[B_n_1]: https://latex.csdn.net/eq?B_%7Bn&plus;1%7D
[bigtriangledown f_x_bigtriangledown f_x_n_1_B_n_1_x-x_n_1]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%5Cbigtriangledown%20f%28x%29%3D%5Cbigtriangledown%20f%28x_%7Bn&plus;1%7D%29&plus;B_%7Bn&plus;1%7D%28x-x_%7Bn&plus;1%7D%29
[B_n_1_x_n_1_-x_bigtriangledown f_x_n_1_-_bigtriangledown f_x]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20B_%7Bn&plus;1%7D%28x_%7Bn&plus;1%7D-x%29%3D%5Cbigtriangledown%20f%28x_%7Bn&plus;1%7D%29-%5Cbigtriangledown%20f%28x%29
[B_k]: https://latex.csdn.net/eq?B_k
[E_k]: https://latex.csdn.net/eq?E_k
[B_n_1_B_n_E_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20B_%7Bn&plus;1%7D%3DB_%7Bn%7D&plus;E_%7Bn%7D
[y_n_bigtriangledown f_x_n_1_-_bigtriangledown f_x_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20y_n%3D%5Cbigtriangledown%20f%28x_%7Bn&plus;1%7D%29-%5Cbigtriangledown%20f%28x_n%29
[s_n_x_n_1_-x_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20s_n%3Dx_%7Bn&plus;1%7D-x_n
[B_n_E_n_s_n _ y_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%28B_n&plus;E_n%29s_n%20%3D%20y_n
[E_n_alpha u_nu_n_T_beta v_kv_k_T]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20E_n%3D%5Calpha%20u_nu_%7Bn%7D%5E%7BT%7D&plus;%5Cbeta%20v_kv_%7Bk%7D%5E%7BT%7D
[u_n_v_n]: https://latex.csdn.net/eq?u_n%2Cv_n
[gif.latex_n_5Ctimes_space_1]: http://latex.codecogs.com/gif.latex?n%5Ctimes&space;1
[B_n_alpha u_nu_n_T_beta v_nv_n_T_s_n_y_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%28B_n&plus;%5Calpha%20u_nu_%7Bn%7D%5E%7BT%7D&plus;%5Cbeta%20v_nv_%7Bn%7D%5E%7BT%7D%29s_n%3Dy_n
[alpha _u_n_T_s_n_u_n_beta _v_n_T_s_n_v_n_y_n-B_ns_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%5Calpha%20%28u_%7Bn%7D%5E%7BT%7Ds_n%29u_n&plus;%5Cbeta%20%28v_%7Bn%7D%5E%7BT%7Ds_n%29v_n%3Dy_n-B_ns_n
[u_n_T_s_n_v_n_T_s_n]: https://latex.csdn.net/eq?u_%7Bn%7D%5E%7BT%7Ds_n%2Cv_%7Bn%7D%5E%7BT%7Ds_n
[y_n-B_ns_n]: https://latex.csdn.net/eq?y_n-B_ns_n
[gif.latex_5Calpha]: http://latex.codecogs.com/gif.latex?%5Calpha
[gif.latex_5Cbeta]: http://latex.codecogs.com/gif.latex?%5Cbeta
[u_n_rB_ns_n_v_n_theta y_n]: https://latex.csdn.net/eq?u_n%3DrB_ns_n%2Cv_n%3D%5Ctheta%20y_n
[E_n_alpha r_2B_ns_ns_n_T_B_n_beta _theta_2 y_ny_n_T]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20E_n%3D%5Calpha%20r%5E2B_ns_ns_%7Bn%7D%5E%7BT%7DB_n&plus;%5Cbeta%20%5Ctheta%5E2%20y_ny_%7Bn%7D%5E%7BT%7D
[alpha _rB_ns_n_Ts_n_rB_ns_n_beta _theta y_n_T_theta y_n_y_n-B_ns_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%5Calpha%20%5B%28rB_ns_n%29%5ETs_n%5D%28rB_ns_n%29&plus;%5Cbeta%20%5B%28%5Ctheta%20y_n%29%5ET%5D%28%5Ctheta%20y_n%29%3Dy_n-B_ns_n
[alpha r_2_s_n_T_B_ns_n_1_beta _theta _2_y_n_T_s_n_-1_y_n_0]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%5B%5Calpha%20r%5E2%28s_%7Bn%7D%5E%7BT%7DB_ns_n%29&plus;1%5D&plus;%5B%5Cbeta%20%5Ctheta%20%5E2%28y_%7Bn%7D%5E%7BT%7Ds_n%29-1%5D%28y_n%29%3D0
[alpha r_2_s_n_T_B_ns_n_1_0]: https://latex.csdn.net/eq?%5Calpha%20r%5E2%28s_%7Bn%7D%5E%7BT%7DB_ns_n%29&plus;1%3D0
[alpha r_2_-_frac_1_s_n_T_B_ns_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%5Calpha%20r%5E2%3D-%5Cfrac%7B1%7D%7Bs_%7Bn%7D%5E%7BT%7DB_ns_n%7D
[beta _theta _2_y_n_T_s_n_-1_0]: https://latex.csdn.net/eq?%5Cbeta%20%5Ctheta%20%5E2%28y_%7Bn%7D%5E%7BT%7Ds_n%29-1%3D0
[beta _theta _2_frac_1_y_n_T_s_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%5Cbeta%20%5Ctheta%20%5E2%3D%5Cfrac%7B1%7D%7By_%7Bn%7D%5E%7BT%7Ds_n%7D
[E_n_-_frac_B_ns_ns_n_T_B_n_s_n_TB_ns_n_frac_y_ny_n_T_y_n_T_s_k]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20E_n%3D-%5Cfrac%7BB_ns_ns_%7Bn%7D%5E%7BT%7DB_n%7D%7Bs_%7Bn%7D%5ETB_ns_n%7D&plus;%5Cfrac%7By_ny_%7Bn%7D%5E%7BT%7D%7D%7By_%7Bn%7D%5E%7BT%7Ds_k%7D
[B_n]: https://latex.csdn.net/eq?B_n
[B_n_1_B_n-_frac_B_ns_ns_n_T_B_n_s_n_TB_ns_n_frac_y_ny_n_T_y_n_T_s_k]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20B_%7Bn&plus;1%7D%3DB_n-%5Cfrac%7BB_ns_ns_%7Bn%7D%5E%7BT%7DB_n%7D%7Bs_%7Bn%7D%5ETB_ns_n%7D&plus;%5Cfrac%7By_ny_%7Bn%7D%5E%7BT%7D%7D%7By_%7Bn%7D%5E%7BT%7Ds_k%7D
[x_n_1_x_n-B_n_-1_bigtriangledown f_x_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20x_%7Bn&plus;1%7D%3Dx_n-B_%7Bn%7D%5E%7B-1%7D%5Cbigtriangledown%20f%28x_n%29
[x_n_1_x_n-_eta_B_n_-1_bigtriangledown f_x_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20x_%7Bn&plus;1%7D%3Dx_n-%5Ceta%28B_%7Bn%7D%5E%7B-1%7D%5Cbigtriangledown%20f%28x_n%29%29
[B_n_1_-1_I-_frac_s_ny_n_y_n_T_s_n_TB_n_-1_I-_frac_y_ns_n_T_y_n_T_s_n_frac_s_ns_n_T_y_n_T_s_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20B_%7Bn&plus;1%7D%5E%7B-1%7D%3D%28I-%5Cfrac%7Bs_ny_n%7D%7By_%7Bn%7D%5E%7BT%7Ds_n%7D%29%5ETB_%7Bn%7D%5E%7B-1%7D%28I-%5Cfrac%7By_ns_%7Bn%7D%5E%7BT%7D%7D%7By_%7Bn%7D%5E%7BT%7Ds_n%7D%29&plus;%5Cfrac%7Bs_ns_%7Bn%7D%5E%7BT%7D%7D%7By_%7Bn%7D%5E%7BT%7Ds_n%7D
[H]: https://latex.csdn.net/eq?H
[B_-1]: https://latex.csdn.net/eq?B%5E%7B-1%7D
[x_n_1_x_n-_eta_H_n_bigtriangledown f_x_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20x_%7Bn&plus;1%7D%3Dx_n-%5Ceta%28H_%7Bn%7D%5Cbigtriangledown%20f%28x_n%29
[H_n_1_I-_frac_s_ny_n_y_n_T_s_n_TH_n_I-_frac_y_ns_n_T_y_n_T_s_n_frac_s_ns_n_T_y_n_T_s_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20H_%7Bn&plus;1%7D%3D%28I-%5Cfrac%7Bs_ny_n%7D%7By_%7Bn%7D%5E%7BT%7Ds_n%7D%29%5ETH_%7Bn%7D%28I-%5Cfrac%7By_ns_%7Bn%7D%5E%7BT%7D%7D%7By_%7Bn%7D%5E%7BT%7Ds_n%7D%29&plus;%5Cfrac%7Bs_ns_%7Bn%7D%5E%7BT%7D%7D%7By_%7Bn%7D%5E%7BT%7Ds_n%7D
[s_n]: https://latex.csdn.net/eq?s_n
[y_n]: https://latex.csdn.net/eq?y_n
[H_n]: https://latex.csdn.net/eq?H_n
[rho _n_frac_1_y_n_T_s_n_V_k_I-_frac_y_ns_n_T_y_n_T_s_k]: https://latex.csdn.net/eq?%5Crho%20_n%3D%5Cfrac%7B1%7D%7By_%7Bn%7D%5E%7BT%7Ds_n%7D%2CV_k%3DI-%5Cfrac%7By_ns_%7Bn%7D%5E%7BT%7D%7D%7By_%7Bn%7D%5E%7BT%7Ds_k%7D
[H_n_1_V_n_T_H_nV_n_rho _ns_ns_n_T]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20H_%7Bn&plus;1%7D%3DV_%7Bn%7D%5E%7BT%7DH_nV_n&plus;%5Crho%20_ns_ns_%7Bn%7D%5E%7BT%7D
[H_0_I]: https://latex.csdn.net/eq?H_0%3DI
[H_1_V_0_T_H_0V_0_rho _0s_0s_0_T]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20H_1%3DV_%7B0%7D%5E%7BT%7DH_0V_0&plus;%5Crho%20_0s_0s_%7B0%7D%5E%7BT%7D
[H_2_V_1_T_H_1V_1_rho _1s_1s_1_T]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20H_2%3DV_%7B1%7D%5E%7BT%7DH_1V_1&plus;%5Crho%20_1s_1s_%7B1%7D%5E%7BT%7D
[V_1_T_V_0_T_H_0V_0_rho _0s_0s_0_T_rho _1s_1s_1_T]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%3DV_%7B1%7D%5E%7BT%7D%28V_%7B0%7D%5E%7BT%7DH_0V_0&plus;%5Crho%20_0s_0s_%7B0%7D%5E%7BT%7D%29&plus;%5Crho%20_1s_1s_%7B1%7D%5E%7BT%7D
[V_1_T_V_0_T_H_0V_1_V_1_T_rho _0s_0s_0_T_V_1_rho _1s_1s_1_T]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20%3DV_%7B1%7D%5E%7BT%7DV_%7B0%7D%5E%7BT%7DH_0V_1&plus;V_%7B1%7D%5E%7BT%7D%5Crho%20_0s_0s_%7B0%7D%5E%7BT%7DV_1&plus;%5Crho%20_1s_1s_%7B1%7D%5E%7BT%7D
[H_n_1_V_n_T_V_n-1_T_cdots V_1_T_V_0_T_H_0_V_0V_1_cdots V_n-1_V_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20H_%7Bn&plus;1%7D%3D%28V_%7Bn%7D%5E%7BT%7DV_%7Bn-1%7D%5E%7BT%7D%5Ccdots%20V_%7B1%7D%5E%7BT%7DV_%7B0%7D%5E%7BT%7D%29H_0%28V_0V_1%5Ccdots%20V_%7Bn-1%7DV_n%29
[V_n_T_V_n-1_T_cdots V_1_T_rho _1s_1s_1_T_V_1_cdots V_n-1_V_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20&plus;%28V_%7Bn%7D%5E%7BT%7DV_%7Bn-1%7D%5E%7BT%7D%5Ccdots%20V_%7B1%7D%5E%7BT%7D%29%5Crho%20_1s_1s_%7B1%7D%5E%7BT%7D%28V_1%5Ccdots%20V_%7Bn-1%7DV_n%29
[_cdots]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20&plus;%20%5Ccdots
[V_n_T_rho _n-1_s_n-1_s_n-1_T_V_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20&plus;V_%7Bn%7D%5E%7BT%7D%5Crho%20_%7Bn-1%7Ds_%7Bn-1%7Ds_%7Bn-1%7D%5E%7BT%7DV_n
[rho _ns_ns_n_T]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20&plus;%5Crho%20_ns_ns_%7Bn%7D%5E%7BT%7D
[H_n_1_V_n_T_V_n-1_T_cdots V_n-m_T_H_0_V_n-m_cdots V_n-1_V_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20H_%7Bn&plus;1%7D%3D%28V_%7Bn%7D%5E%7BT%7DV_%7Bn-1%7D%5E%7BT%7D%5Ccdots%20V_%7Bn-m%7D%5E%7BT%7D%29H_0%28V_%7Bn-m%7D%5Ccdots%20V_%7Bn-1%7DV_n%29
[V_n_T_V_n-1_T_cdots V_n-m_T_rho _1s_1s_1_T_V_n-m_cdots V_n-1_V_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20&plus;%28V_%7Bn%7D%5E%7BT%7DV_%7Bn-1%7D%5E%7BT%7D%5Ccdots%20V_%7Bn-m%7D%5E%7BT%7D%29%5Crho%20_1s_1s_%7B1%7D%5E%7BT%7D%28V_%7Bn-m%7D%5Ccdots%20V_%7Bn-1%7DV_n%29
[rho _V]: https://latex.csdn.net/eq?%5Crho%20%2CV
[H_n_1]: https://latex.csdn.net/eq?H_%7Bn&plus;1%7D
[H_0]: https://latex.csdn.net/eq?H_0
[x_0]: https://latex.csdn.net/eq?x_0
[varepsilon _ 0]: https://latex.csdn.net/eq?%5Cvarepsilon%20%3E%200
[n_0_H_0_I_r_bigtriangledown f_x_0]: https://latex.csdn.net/eq?n%3D0%2CH_0%3DI%2Cr%3D%5Cbigtriangledown%20f%28x_0%29
[bigtriangledown f_x_n_1_leqslant _varepsilon]: https://latex.csdn.net/eq?%7C%7C%5Cbigtriangledown%20f%28x_%7Bn&plus;1%7D%29%7C%7C%5Cleqslant%20%5Cvarepsilon
[p_n_-r_k]: https://latex.csdn.net/eq?p&plus;n%3D-r_k
[alpha _k]: https://latex.csdn.net/eq?%5Calpha%20_k
[f_x_n_alpha _np_n_minf_x_n-_alpha p_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20f%28x_n&plus;%5Calpha%20_np_n%29%3Dminf%28x_n-%5Calpha%20p_n%29
[x_n_1_x_n_alpha _np_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20x_%7Bn&plus;1%7D%3Dx_n&plus;%5Calpha%20_np_n
[s_n-m_y_n-m]: https://latex.csdn.net/eq?s_%7Bn-m%7D%2Cy_%7Bn-m%7D
[y_n_bigtriangledown f_x_n_1_-_bigtriangledown f_x_n 1]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20y_n%3D%5Cbigtriangledown%20f%28x_%7Bn&plus;1%7D%29-%5Cbigtriangledown%20f%28x_%7Bn%7D%29
[r_n_B_n_bigtriangledown f_x_n]: https://latex.csdn.net/eq?%5Cdpi%7B150%7D%20r_n%3DB_n%5Cbigtriangledown%20f%28x_n%29
[n_n_1]: https://latex.csdn.net/eq?n%3Dn&plus;1
[LBFGS _ PyTorch 1.13 documentation]: https://pytorch.org/docs/stable/generated/torch.optim.LBFGS.html#torch.optim.LBFGS
[00a02e08c0ab4c1cb8e14211fb0098de.png]: https://img-blog.csdnimg.cn/00a02e08c0ab4c1cb8e14211fb0098de.png