Python实现坐标上升算法

系统管理员 2022-03-14 08:30 139阅读 0赞

场景：已知f(x1,x2)=-x1^2-3\*x2^2+2\*x1\*x2+6，求当f(x1,x2)取得最大值时，x1和x2的值分别是多少？

f(x1,x2)对x1的偏导：f\_x1=-2\*x1+2\*x2，令f\_x1=0，=》x1=x2；

f(x1,x2)对x2的偏导：f\_x2=-6\*x2+2\*x1，令f\_x2=0，=》x2=1/3\*x1。

在坐标上升的过程中，当每次沿着某个坐标轴寻找多元函数f的最大值时，该坐标轴对应的变量被更新为偏导为0时对应的值，其余坐标轴对应的变量保持不变。

绘制函数f(x1,x2)=-x1^2-3\*x2^2+2\*x1\*x2+6的图像：

# 导入相关包
    %matplotlib notebook
    from matplotlib import pyplot as plt
    import numpy as np
    
    # 绘制函数图像
    fig = plt.figure()
    ax = plt.axes(projection='3d')
    X1 = np.arange(-4, 4, 0.25)
    X2 = np.arange(-4, 4, 0.25)
    X1, X2 = np.meshgrid(X1, X2)
    Z = -X1**2-3*X2**2+2*X1*X2+6
    ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap='rainbow')
    ax.set(xlabel='x',ylabel='y',zlabel='z')

函数图像如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70][]

采用坐标上升法求解f(x1,x2)取得最大值时，x1和x2的值：

plt.figure()
    CS=plt.contour(X,Y,Z)#画等高线
    
    #初始化X1和X2的值
    X1_list = []
    X2_list = []
    X1_list.append(2.0)
    X2_list.append(2.0)
    
    j = 1
    
    for i in range(200):       
        X1_tmp = X2_list[j-1]        # 沿着X1轴对X1和X2进行更新
        X1_list.append(X1_tmp)
        X2_list.append(X2_list[j-1])
    
        j = j+1
    
        X2_tmp = X1_list[j-1] / 3    # 沿着X2轴对X1和X2进行更新  
        X1_list.append(X1_list[j-1])
        X2_list.append(X2_tmp)
    
    plt.plot(X1_list,X2_list)
    max_x1=X1_list[-1]
    max_x2=X2_list[-1]
    
    print('当取最大值的时候，x1的取值为：', max_x1)
    print('当取最大值的时候，x2的取值为：', max_x2)
    
    print('max f:',-(max_x1**2)-3*(max_x2**2)+2*max_x1*max_x2+6)
    
    plt.title('Coordinate Descent')
    plt.xlabel('x')
    plt.ylabel('y')

迭代过程如图下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70 1][]

上图黄色椭圆曲线中的蓝色阶梯状折线展示了坐标上升的迭代过程。

除此之外，上述代码还输出：

当取最大值的时候，x1的取值为： 0.6666666666666666
    当取最大值的时候，x2的取值为： 0.2222222222222222
    max f: 5.703703703703704

参考：

[https://blog.csdn.net/u010626937/article/details/75044343][https_blog.csdn.net_u010626937_article_details_75044343]

[https://blog.csdn.net/u014636245/article/details/82799573][https_blog.csdn.net_u014636245_article_details_82799573]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70]: /images/20220313/c44ec24dbcdc479ca8a907eb83202454.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70 1]: /images/20220313/5f7bbcb6f36e4c70b6bb0bf93b85bdeb.png
[https_blog.csdn.net_u010626937_article_details_75044343]: https://blog.csdn.net/u010626937/article/details/75044343
[https_blog.csdn.net_u014636245_article_details_82799573]: https://blog.csdn.net/u014636245/article/details/82799573