Pytorch对Himmelblau函数的优化实例

浅浅的花香味﹌ 2021-11-16 07:20 282阅读 0赞

Himmelblau函数如下：

![20190730101628666.png][]

有四个全局最小解，且值都为0，这个函数常用来检验优化算法的表现如何：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWNhbzE5OTA_size_16_color_FFFFFF_t_70][]

可视化函数图像：

import numpy as np
    from matplotlib import pyplot as plt
    from mpl_toolkits.mplot3d import Axes3D
    
    
    def himmelblau(x):
    	return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2
    
    
    x = np.arange(-6, 6, 0.1)
    y = np.arange(-6, 6, 0.1)
    X, Y = np.meshgrid(x, y)
    Z = himmelblau([X, Y])
    fig = plt.figure("himmeblau")
    ax = fig.gca(projection='3d')
    ax.plot_surface(X, Y, Z)
    ax.view_init(60, -30)
    ax.set_xlabel('x')
    ax.set_ylabel('y')
    plt.show()

结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWNhbzE5OTA_size_16_color_FFFFFF_t_70 1][]

使用随机梯度下降优化：

import torch
    
    
    def himmelblau(x):
    	return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2
    
    
    # 初始设置为0,0.
    x = torch.tensor([0., 0.], requires_grad=True)
    # 优化目标是找到使himmelblau函数值最小的坐标x[0],x[1]，
    # 也就是x, y
    # 这里是定义Adam优化器,指明优化目标是x,学习率是1e-3
    optimizer = torch.optim.Adam([x], lr=1e-3)
    
    for step in range(20000):
    	# 每次计算出当前的函数值
    	pred = himmelblau(x)
    	# 当网络参量进行反馈时,梯度是被积累的而不是被替换掉,这里即每次将梯度设置为0
    	optimizer.zero_grad()
    	# 生成当前所在点函数值相关的梯度信息,这里即优化目标的梯度信息
    	pred.backward()
    	# 使用梯度信息更新优化目标的值,即更新x[0]和x[1]
    	optimizer.step()
    	# 每2000次输出一下当前情况
    	if step % 2000 == 0:
    		print("step={},x={},f(x)={}".format(step, x.tolist(), pred.item()))

输出结果：

step=0,x=[0.0009999999310821295, 0.0009999999310821295],f(x)=170.0
    step=2000,x=[2.3331806659698486, 1.9540692567825317],f(x)=13.730920791625977
    step=4000,x=[2.9820079803466797, 2.0270984172821045],f(x)=0.014858869835734367
    step=6000,x=[2.999983549118042, 2.0000221729278564],f(x)=1.1074007488787174e-08
    step=8000,x=[2.9999938011169434, 2.0000083446502686],f(x)=1.5572823031106964e-09
    step=10000,x=[2.999997854232788, 2.000002861022949],f(x)=1.8189894035458565e-10
    step=12000,x=[2.9999992847442627, 2.0000009536743164],f(x)=1.6370904631912708e-11
    step=14000,x=[2.999999761581421, 2.000000238418579],f(x)=1.8189894035458565e-12
    step=16000,x=[3.0, 2.0],f(x)=0.0
    step=18000,x=[3.0, 2.0],f(x)=0.0

从上面结果看，找到了一组最优解\[3.0, 2.0\],此时极小值为0.0。如果修改Tensor变量x的初始化值，可能会找到其它的极小值，也就是说初始化值对于找到最优解很关键。

[20190730101628666.png]: /images/20211116/49a4ac9b84ad4071a25ed2fa58529e79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWNhbzE5OTA_size_16_color_FFFFFF_t_70]: /images/20211116/8be0614052554b4fa902367307523694.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWNhbzE5OTA_size_16_color_FFFFFF_t_70 1]: /images/20211116/665f3b4ea5f6464d9860e9292b66559a.png