最小二乘估计

迷南。 2023-06-27 03:20 67阅读 0赞

最近学习到卡尔曼滤波，但卡尔曼滤波的基础是最小二乘估计，最小二乘估计是统计学的基石。

# 学习笔记： #

通过事实，推断出最有可能的硬币情况，就是**最大似然估计**。

已知硬币的参数，就可以去推测抛硬币的各种情况的可能性，这称为**概率**。

对两人的关系的“参数”进行推断，叫做**似然**，得到最可能的参数，叫做**最大似然估计**。

中心极限定理说了，在适当的条件下，大量相互独立随机变量的均值经适当标准化后依分布收敛于正态分布，其中有三个要素：

*  独立
 *  随机
 *  相加      满足上述3个条件就可以理解为具有正态分布的特性。

现行的最小二乘法是勒让德( A. M. Legendre)于1805年在其著作《计算慧星轨道的新方法》中提出的。它的主要思想就是选择未知参数，使得理论值与观测值之差的平方和达到最小：

![20200102163807591.png][]

代码来源：[https://zhuanlan.zhihu.com/p/22064801][https_zhuanlan.zhihu.com_p_22064801]

import numpy as np
    import pandas as pd
    import scipy.stats as stats
    from math import *
    import matplotlib as mpl
    import matplotlib.pyplot as plt
    mpl.style.use('ggplot')
    import seaborn as sns
    #x取1~100,y取某一个非线性函数
    x = np.arange(1,101)
    #print("x:",x)
    x=np.array([float(i) for i in x])### 从int 变为float 的形式
    #print("x:",x)
    y =x+[10*sin(0.3*i)for i in x]+stats.norm.rvs(size=100, loc=0, scale=1.5)
    print("x:",x,"y:",y)
    plt.figure(figsize=(12,6))
    plt.scatter(x,y)
    slope, intercept, r_value, p_value, std_err = stats.linregress(x, y)
    plt.figure(figsize=(12,6))
    yHatLinear=intercept+slope*x
    plt.plot(x,yHatLinear,'r')
    plt.scatter(x,y)
    print('y='+str(intercept)+'+'+str(slope)+'x')
    def get_sqrtW(x0,k):    #x0处其它样本点的权重
        w=np.zeros(len(x))
        for i in range(len(x)):
            w[i]=exp(-(x[i]-x0)**2/(2*k*k))
        w=np.array([sqrt(i) for i in w])
        return w
    import statsmodels.api as sm
    #把整个过程定义成一个函数，方便改参数进行研究
    def get_yHat2(k):
        yHat2=np.zeros(len(x))
        for i in range(len(x)):
            #把加权最小二乘转化为普通最小二乘，详情请看第二部分
            w=get_sqrtW(x[i],k)
            x2=w*x
            x2=x2[x2>0]      #去掉样本权重为0的样本
            y2=w*y
            y2=y2[y2>0]
            X=np.zeros((1,len(x2)))
            X[0]=x2
            X=X.T
            X = sm.add_constant(X,has_constant='skip')
            X[:,0]=w[w>0]
            Y=y2
            model = sm.OLS(Y, X)
            results = model.fit()
            a = results.params[0]
            b = results.params[1]
            yHat2[i]=a+b*x[i]      #得到xi处的估计值
        return yHat2
    yHat2=get_yHat2(100000)  #ｋ取100000
    plt.figure(figsize=(12,6))
    plt.plot(x,yHat2,'r')
    plt.scatter(x,y)
    data=pd.DataFrame()
    data['y']=y
    data['yHatLinear']=yHatLinear
    data['yHat2']=yHat2
    data.head()
    yHat2=get_yHat2(10)  
    plt.figure(figsize=(12,6))
    plt.plot(x,yHat2,'r')
    plt.scatter(x,y)
    plt.title('k=10')
    
    yHat2=get_yHat2(1)  
    plt.figure(figsize=(12,6))
    plt.plot(x,yHat2,'r')
    plt.scatter(x,y)
    plt.title('k=1')
    
    yHat2=get_yHat2(0.1)  
    plt.figure(figsize=(12,6))
    plt.plot(x,yHat2,'r')
    plt.scatter(x,y)
    plt.title('k=0.1')
    plt.show()

# 转载： #

[如何通俗地理解“最大似然估计法”?][Link 1]

[为什么正态分布如此常见？][Link 2]

[20200102163807591.png]: https://img-blog.csdnimg.cn/20200102163807591.png
[https_zhuanlan.zhihu.com_p_22064801]: https://zhuanlan.zhihu.com/p/22064801
[Link 1]: https://www.matongxue.com/madocs/447.html
[Link 2]: https://www.matongxue.com/madocs/589.html