我的人工智能之旅——假设函数模型的选择

﹏ヽ暗。殇╰゛Y 2022-05-08 13:26 181阅读 0赞

# 如何选择假设函数模型 #

通常假设函数的模型为![f(x)=a\_0x+a\_1x^2+a\_3x^4+...+a\_nx^n][f_x_a_0x_a_1x_2_a_3x_4_..._a_nx_n]，其中n为最高次数，那么如何来确定n的取值呢？

通常的做法是，

（1）确定多个n值，例如![n\_0,n\_1,n\_2,...n\_p][n_0_n_1_n_2_...n_p]，形成多个假设函数![f(x)\_0,f(x)\_1,f(x)\_2,f(x)\_p][f_x_0_f_x_1_f_x_2_f_x_p]

（2）将数据集分成三部分，训练集，交叉验证集，测试集，通常所占比例分别为60%，20%，20%。

（注意，测试集选定后，不再变动。）

（3）使用训练集对不同的假设函数模型进行训练，确定最优参数。

（注意，在训练过程中，需要假如正则化惩罚项，降低过拟合。因此这里需要一组![\\lambda][lambda]，例如取值为0.001，0.002，0.004，...，10，间隔2倍增长。通过训练，得出最优的![\\lambda][lambda]，以获取最优参数）

（4）使用交叉验证集检测步骤（3）所确定的多个假设函数准确率。

（5）更新训练集和交叉验证集。

（6）重复进行多次步骤（3）（4）（5）的循环操作。

（8）综合多个假设函数的准确率，选择准确率较好，较稳定的模型，从而确定n的值。

（9）使用测试集确定最终模型的准确率。

采用这种流程的目的，是为了保证假设函数的泛化，降低过拟合概率。

# 如何评判假设函数的准确率 #

通常使用学习曲线（learning curves）来衡量假设函数的准确度。

学习曲线公式为![\\frac\{1\}\{2n\}\\sum \_\{i=1\}^\{n\}\{(f(x\_i)-y\_i)^2\}][frac_1_2n_sum _i_1_n_f_x_i_-y_i_2]。

从数学角度来讲，实质是对均方误差（![\\frac\{1\}\{n\}\\sum \_\{i=1\}^\{n\}\{(f(x\_i)-y\_i)^2\}][frac_1_n_sum _i_1_n_f_x_i_-y_i_2]）的使用。

如果训练集的均方误差高，肯定为欠拟合。需要提高假设函数最高次数。

如果训练集的均方误差低，交叉验证集的均方误差远高于训练集的均方误差，则为过拟合。需要降低假设函数最高次数。

通过学习曲线，也可帮助判断，当前的假设函数能否通过增加训练数据量的方式进行优化。如图

![70][]

x轴为训练集数据量，y轴误差率。

在训练数据量小的情况下，假设函数容易拟合所有的数据，因此均方误差小。随着数据量的增加，假设函数的均方误差会增大。在图像上的体现就是，训练集学习曲线随训练数据量的增长而增长。

用于训练的数据增加，势必会加少交叉验证集的数据量。在图像上的体现就是，训练集学习曲线随训练数据量的增长而降低。

两条曲线会在某一误差率附近持平。若该误差率仍处于较高水平。那么，就说明通过增加数据量的方式，对假设函数进行优化，效果是不明显的。无需浪费时间去尝试。

优化假设函数的方式包括

（1）增加训练数据量

（2）增减特征项

（3）调整正则惩罚项![\\lambda][lambda]参数

[f_x_a_0x_a_1x_2_a_3x_4_..._a_nx_n]: https://private.codecogs.com/gif.latex?f%28x%29%3Da_0x&plus;a_1x%5E2&plus;a_3x%5E4&plus;...&plus;a_nx%5En
[n_0_n_1_n_2_...n_p]: https://private.codecogs.com/gif.latex?n_0%2Cn_1%2Cn_2%2C...n_p
[f_x_0_f_x_1_f_x_2_f_x_p]: https://private.codecogs.com/gif.latex?f%28x%29_0%2Cf%28x%29_1%2Cf%28x%29_2%2Cf%28x%29_p
[lambda]: https://private.codecogs.com/gif.latex?%5Clambda
[frac_1_2n_sum _i_1_n_f_x_i_-y_i_2]: https://private.codecogs.com/gif.latex?%5Cfrac%7B1%7D%7B2n%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bn%7D%7B%28f%28x_i%29-y_i%29%5E2%7D
[frac_1_n_sum _i_1_n_f_x_i_-y_i_2]: https://private.codecogs.com/gif.latex?%5Cfrac%7B1%7D%7Bn%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bn%7D%7B%28f%28x_i%29-y_i%29%5E2%7D
[70]: /images/20220508/0a162ed3fc4b483385dc5fa4f5846b81.png