22_2D函数优化实例

爱被打了一巴掌 2022-10-27 15:57 134阅读 0赞

## 1.19. 2D函数优化实例 ##

为了演示优化神经网络参数得到loss极小值的过程，和不同初始值可能产生不同的极值点，在此引入了如下图所示函数：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70]  
从图中可以看出该函数2D图像呈碗状，有四个极小值点，它的极值点有：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 1]  
接下来我们通过求解该函数极小值，来测试我们设计的优化器效果如何。

画图代码：

# -*- coding: UTF-8 -*-
    
    import numpy as np
    import matplotlib.pyplot as plt
    from mpl_toolkits.mplot3d import Axes3D
    
    def himmelblau(x):
        return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2
    #图示函数定义
    
    x = np.arange(-6, 6, 0.1)                     #生成范围-6到6的点 每个点间隔0.1 共120个点
    y = np.arange(-6, 6, 0.1)                     #生成范围-6到6的点 每个点间隔0.1 共120个点
    print('x,y range:', x.shape, y.shape)
    X, Y = np.meshgrid(x, y)                      #把x,y拼接在一起 生成网格坐标 [120,120] 相当于120行 120列矩阵
    print('X,Y maps:', X.shape, Y.shape)
    Z = himmelblau([X, Y])                        #传入[120,120]的坐标得到对应的函数值
    
    fig = plt.figure('himmelblau')
    ax = fig.gca(projection='3d')                 #生成的是3d图像
    ax.plot_surface(X, Y, Z)                      #传入 x y z 坐标
    ax.view_init(60, -30)
    ax.set_xlabel('x')
    ax.set_ylabel('y')
    plt.show()
    
    """ 中间出现错误： ValueError: Unknown projection '3d' 解决办法是加入： from mpl_toolkits.mplot3d import Axes3D """

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 2]

在上面代码的基础上添加如下代码：

import torch
    # 不同初始化 会找到不同的解
    x = torch.tensor([0., 0.], requires_grad=True)
    # x,y初始化 需要梯度信息
    optimizer = torch.optim.Adam([x], lr=1e-3)
    # 初始化优化器 对x,y进行优化 学习率为0.001
    for step in range(20000):    #梯度下降 进行20000次
        pred = himmelblau(x)
    
        optimizer.zero_grad()    # 梯度信息清零
        pred.backward()          # 反向传播 得到梯度
        optimizer.step()         # 自动完成参数的更新
    
        if step % 2000 == 0:      # 每2000次打印一次信息
            print ('step {}: x = {}, f(x) = {}'.format(step, x.tolist(), pred.item()))

**输出结果：**

step 0: x = [0.0009999999310821295, 0.0009999999310821295], f(x) = 170.0
    step 2000: x = [2.3331806659698486, 1.9540694952011108], f(x) = 13.730916023254395
    step 4000: x = [2.9820079803466797, 2.0270984172821045], f(x) = 0.014858869835734367
    step 6000: x = [2.999983549118042, 2.0000221729278564], f(x) = 1.1074007488787174e-08
    step 8000: x = [2.9999938011169434, 2.0000083446502686], f(x) = 1.5572823031106964e-09
    step 10000: x = [2.999997854232788, 2.000002861022949], f(x) = 1.8189894035458565e-10
    step 12000: x = [2.9999992847442627, 2.0000009536743164], f(x) = 1.6370904631912708e-11
    step 14000: x = [2.999999761581421, 2.000000238418579], f(x) = 1.8189894035458565e-12
    step 16000: x = [3.0, 2.0], f(x) = 0.0
    step 18000: x = [3.0, 2.0], f(x) = 0.0

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70]: /images/20221024/bd625d2a82144931bdc96f06301f2ab9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 1]: /images/20221024/a94d6c4a66fc4fcb92992989051c2280.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 2]: /images/20221024/3a55774e51634c6fa72c8da85b78b9a6.png