最小二乘法求解的两种表示方法

野性酷女 2022-08-18 12:10 28阅读 0赞

#### 问题表述： ####

有训练数据集*T*=\{ (*x*1,*y*1),(*x*2,*y*2),⋯,(*x**N*,*y**N*)\},其中，样本个数为N，每个样本有m个属性，*x**i*∈*R*,*y**i*∈*R*, 预测未知样本集的输出。  
很明显这是一个回归问题，我们想要求出一个回归函数 *h**w*(*x*)（在线性回归下可以表示成*h**w*(*x*)=∑*m**i*=0*w**i*⋅*x**i*=*x**T**w*） ，使其在未知样本集得到期望的输出，一个很好的思路即是希望在已知的训练数据集上得到的输出*h**w*(*x*(*i*))与真实值*y*(*i*)足够小。于是我们可以定义一个损失函数

*J*(*w*)=12∑*i*=1*N*(*h**w*(*x*(*i*))−*y*(*i*))2

则我们的目的是使得损失函数最小。

#### 1.通用的表示方式 ####

我们使用梯度下降法来求解损失函数最小。即通过每次更新w,w更新的方向是损失函数对w的负梯度方向，每次更新之后损失函数都会变得更小，直到不能减小为止。包括两个步骤：1、初始化w;2、对w更新

*  inital *w*
 *  repeat :  
    
    
     *  *w**j*=*w**j*−*α*∂*J*(*w*)∂*w**j*
    
    其中，*α*为步长，控制每次更新的幅度，而∂*J*(*w*)∂*w**j*的计算如下：  
    
    
    ∂*J*(*w*)∂*w**j*=∂∂*w**j*(12∑*i*=1*N*(*h**w*(*x*(*i*))−*y*(*i*))2)=12∗2∗∑*i*=1*N*(*h**w*(*x*(*i*))−*y*(*i*))∗*x*(*i*)*j*=∑*i*=1*N*(*h**w*(*x*(*i*))−*y*(*i*))∗*x*(*i*)*j*
    
    #### 2.向量表示法 ####
    
    之所以介绍向量表示法，一是因为使用向量可以大大简化公式，虽然开始时不易理解，一旦理解了再看类似的公式也会一目了然；二是因为编程需要，使用上一种方法求解*w*时，难免会用到循环，在一个程序中循环的嵌套往往意味着计算效率的降低，而使用Python的一个科学计算库Numpy,可以使用其中的函数将其全部变成矩阵\\向量运算，提高了计算效率。其中用向量表示*X*,*y* 为 :
    
    *X*=⎡⎣⎢⎢⎢⎢⎢(*x*(1))*T*(*x*(2))*T*⋮(*x*(*N*))*T*⎤⎦⎥⎥⎥⎥⎥*y*=⎡⎣⎢⎢⎢⎢⎢*y*(1)*y*(2)⋮*y*(*N*)⎤⎦⎥⎥⎥⎥⎥*X**w*−*y*=⎡⎣⎢⎢⎢⎢⎢(*x*(1))*T**w*−*y*(1)(*x*(2))*T**w*−*y*(2)⋮(*x*(*N*))*T**w*−*y*(*N*)⎤⎦⎥⎥⎥⎥⎥
    
    则损失函数的向量表示：  
    
    
    *J*(*w*)=12∑*i*=1*N*(*h**w*(*x*(*i*))−*y*(*i*))2=12∑*i*=1*N*((*x*(*i*))*T**w*−*y*(*i*))2=12(*X**w*−*y*)*T*(*X**w*−*y*)
    
      
    对  *w*的求导：  
    
    
    ∇*w*(*J*(*w*))=∇*w*12(*X**w*−*y*)*T*(*X**w*−*y*)=12∇*w*(*w**T**X**T**X**w*−*w**T**X**T**y*−*y**T**X**w*\+*y**T**y*)=12∇*w**t**r*(*w**T**X**T**X**w*−*w**T**X**T**y*−*y**T**X**w*\+*y**T**y*)=12(2*X**T**X**w*−2*X**T**y*)=*X**T**X**w*−*X**T**y*
    
      
    其中，等式第二步到第四步的推导用到了以下知识：
    
     *  *t**r**A**B**C*=*t**r**B**C**A*=*t**r**C**A**B*
     *  *t**r**A*=*t**r**A**T*
     *  ∇*A**t**r**A**B*=*B**T*
     *  ∇*A**t**r**A**B**A**T**C*=*C**A**B*\+*C**T**A**B**T*
     *  ∇*A**T**f*(*A*)=(∇*A**f*(*A*))*T*
     *  ∇*w**t**r*(*w**T**X**T**X**w*)=(∇*w**T**t**r*(*w**T**X**T**X**w*))*T*=(*w**T**X**T**X*\+*w**T**X**T**X*)*T*=*X**T**X**w*
     *  ∇*w**t**r*(*w**T**X**T**y*)=∇*w**t**r*(*y**T**X**w*)=*X**T**y*