损失函数、代价函数（经验风险）、期望风险、目标函数（结构风险）

拼搏现实的明天。 2023-08-17 17:50 142阅读 0赞

> ### 损失函数：【单次】 ###
> 
> ### 单次预测的错误程度，度量模型一次预测的好坏。 ###
> 
> ![\\LARGE L(Y,f(X))][LARGE L_Y_f_X]

> ### 代价函数（经验风险）：【局部】 ###
> 
> ### 多次预测的错误程度的均值。 ###
> 
> ![\\LARGE \\frac\{1\}\{n\}\\sum\_\{i=1\}^\{n\}L(Y,f(X))][LARGE _frac_1_n_sum_i_1_n_L_Y_f_X]

> ### 期望风险：【全局】 ###
> 
> ### 对所有样本预测错误程度的均值 ###
> 
> ![\\large R\_\{exp\}=E\_\{p\}\[L(Y,f(X))\]=\\int\_\{X\\times Y\}^\{ \}L(y,f(x)))\\cdot P(x,y) dxdy][large R_exp_E_p_L_Y_f_X_int_X_times Y_ _L_y_f_x_cdot P_x_y_ dxdy]

**经验风险是局部的，基于训练集所有样本点损失函数最小化。经验风险是局部最优，是现实的可求的。**

**期望风险是全局的，基于所有样本点损失函数最小化。期望风险是全局最优，是理想化的不可求的。**

> ### 目标函数（结构风险）： ###
> 
> ### 经验风险 + 正则项（惩罚项） ###
> 
> ![\\large R\_\{srm\}=\\frac\{1\}\{n\}\\sum\_\{i=1\}^\{n\}L(y\_\{i\},f(x\_\{i\})))+\\lambda J(f)][large R_srm_frac_1_n_sum_i_1_n_L_y_i_f_x_i_lambda J_f]

**参考文献：**

*  《统计学习方法》

[LARGE L_Y_f_X]: https://private.codecogs.com/gif.latex?%5CLARGE%20L%28Y%2Cf%28X%29%29
[LARGE _frac_1_n_sum_i_1_n_L_Y_f_X]: https://private.codecogs.com/gif.latex?%5CLARGE%20%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7DL%28Y%2Cf%28X%29%29
[large R_exp_E_p_L_Y_f_X_int_X_times Y_ _L_y_f_x_cdot P_x_y_ dxdy]: https://private.codecogs.com/gif.latex?%5Clarge%20R_%7Bexp%7D%3DE_%7Bp%7D%5BL%28Y%2Cf%28X%29%29%5D%3D%5Cint_%7BX%5Ctimes%20Y%7D%5E%7B%20%7DL%28y%2Cf%28x%29%29%29%5Ccdot%20P%28x%2Cy%29%20dxdy
[large R_srm_frac_1_n_sum_i_1_n_L_y_i_f_x_i_lambda J_f]: https://private.codecogs.com/gif.latex?%5Clarge%20R_%7Bsrm%7D%3D%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7DL%28y_%7Bi%7D%2Cf%28x_%7Bi%7D%29%29%29&plus;%5Clambda%20J%28f%29