最小二乘原理

川长思鸟来 2023-01-21 14:23 139阅读 0赞

# 引言 #

以双变量总体回归函数为例：  
![在这里插入图片描述][20210516220303359.png_pic_center]  
受物力财力等因素限制，很多时候我们难以搜集总体信息，故常使用**样本来近似估计总体**。

因此，我们用下面的样本回归函数（SRF）来近似估计总体回归函数（PRF）。  
![在这里插入图片描述][20210516220303349.png_pic_center]  
因而，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center]  
不难理解，估计总体回归函数最好的方法就是选择B1、B2的估计量b1、b2，使残差尽可能小。

而普通最小二乘就是要选择参数b1、b2，使得**残差平方和**最小。

> 这里用平方和是因为相比于绝对值，目标函数（残差平方和最小）是连续可求导的。

# OLS估计量的推导 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center 2]  
R代码（lm）生成的回归模型中，对参数的估计默认就是使用该方法，具体的实例将在【R与统计】专栏的回归一章中细讲。

# 高斯-马尔科夫假定 #

**只有当Gauss-Markov假设条件成立时，使用最小二乘法估计的参数才具有优良的性质。**

*  **假定1. 线性于参数**
 *  **假定2. 随机抽样**
 *  **假定3. 不存在完全共线性**
 *  **假定4.零条件均值**
 *  **假定5. 同方差**

## 参数估计量的性质 ##

**线性型**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center 3]  
**无偏性**（假定1-4）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center 4]  
**最优性**（+ 假定5）  
在所有关于模型参数真值的无偏估计量中，若某个估计量具有最小方差，则称该估计量为该模型参数真值的最优线性无偏估计量。

参考书目

> 《经济计量学精要.第4版》  
> 《应用回归分析》

[20210516220303359.png_pic_center]: /images/20221020/b0a1e51868244ccf8b93236e8b0c1472.png
[20210516220303349.png_pic_center]: /images/20221020/bad5ce44cc8a4980801487fb04587aef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center]: /images/20221020/037fb34e88824459b2e5eebdec894f71.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221020/cdb34fb69bbb46ca85c68c9cda2282b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221020/ae03ce2da64443a7a3b396af697206a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221020/e72744e52b60492b8424079ce99822b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MDYwNjc0_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221020/6bf28be78747479d93e68113fcdbebec.png