琴森不等式及其证明

忘是亡心i 2022-10-26 14:18 177阅读 0赞

# Jensen's Inequality #

Jensen’s Inequality中文译名琴森不等式，要想了解琴森不等式，首先需要知道凸函数（convex function）与凹函数（concave function）的概念。 由于凸函数和凹函数是相反的概念，因此这里只介绍凸函数即可。

### 1 凸函数的概念 ###

如下图中的红色曲线就是一个凸函数（可能直观上来看这个曲线是凹的，别弄反了）。

![image.png][]

我们在高中就已经学习过相关知识，这里仅温习一下，用数学的语言描述凸函数就是：

> 如果个函数具有如下性质：每条弦都位于函数上或函数上方，我们就说这个函数是凸函数。位于x=a到x=b之间的任何一个x值都可以写成 λ a + ( 1 − λ ) b \\lambda a+(1-\\lambda )b λa\+(1−λ)b的形式，其中 0 ≤ λ ≤ 1 0 \\le \\lambda \\le 1 0≤λ≤1，弦上的对应点可以写成： λ f ( a ) + ( 1 − λ ) f ( b ) \\lambda f(a) + (1-\\lambda )f(b) λf(a)\+(1−λ)f(b)，函数上的对应值为 f ( λ a + ( 1 − λ ) b ) f(\\lambda a+(1-\\lambda )b) f(λa\+(1−λ)b)，这样凸函数的性质就可以表示为：  
>  f ( λ a + ( 1 − λ ) b ) ≤ λ f ( a ) + ( 1 − λ ) f ( b ) f(\\lambda a+(1-\\lambda )b) \\le \\lambda f(a) + (1-\\lambda )f(b) f(λa\+(1−λ)b)≤λf(a)\+(1−λ)f(b)  
> 这等价于要求函数的二阶导数处处为正。

### 2 琴森不等式 ###

假设 f ( x ) f(x) f(x)是区间 ( a , b ) (a,b) (a,b)上的凸函数，则对任意的 x 1 , x 2 , . . . , x n ∈ ( a , b ) x\_1, x\_2,...,x\_n \\in (a,b) x1,x2,...,xn∈(a,b)有不等式：  
 f ( x 1 + x 2 + . . . + x n n ) ≤ f ( x 1 ) + f ( x 2 ) + . . . + f ( x n ) n f(\\frac\{x\_1+x\_2+...+x\_n\}\{n\}) \\le \\frac\{f(x\_1)+f(x\_2)+...+f(x\_n)\}\{n\} f(nx1\+x2\+...\+xn)≤nf(x1)\+f(x2)\+...\+f(xn)  
成立，当且仅当 x 1 = x 2 = . . . = x n x\_1=x\_2=...=x\_n x1=x2=...=xn时等号成立。

另外，假设 f ( x ) f(x) f(x)是区间 ( a , b ) (a,b) (a,b)上的凸函数，则对任意的 x 1 , x 2 , . . . , x n ∈ ( a , b ) x\_1, x\_2,...,x\_n \\in (a,b) x1,x2,...,xn∈(a,b)，有 ∑ i = 1 n a i = 1 \\sum\_\{i=1\}^n\{a\_i\}=1 ∑i=1nai=1，且 a i a\_i ai均大于0，则有：  
 f ( a 1 x 1 + a 2 x 2 + . . . + a n x n ) ≤ a 1 f ( x 1 ) + a 2 f ( x 2 ) + . . . + a n f ( x n ) f(a\_1x\_1+a\_2x\_2+...+a\_nx\_n) \\le a\_1f(x\_1)+a\_2f(x\_2)+...+a\_nf(x\_n) f(a1x1\+a2x2\+...\+anxn)≤a1f(x1)\+a2f(x2)\+...\+anf(xn)

巧妙的是，由于有 ∑ i = 1 n a i = 1 \\sum\_\{i=1\}^n\{a\_i\}=1 ∑i=1nai=1，且 a i a\_i ai均大于0的约束，这样可以将 a i a\_i ai看作是随机变量 x i x\_i xi的概率，上式左侧就刚好是随机变量 X X X的期望 E ( X ) E(X) E(X)，因此上式等价于：

f ( E ( X ) ) ≤ E ( f ( X ) ) f(E(X)) \\le E(f(X)) f(E(X))≤E(f(X))

### 3 证明琴森不等式 ###

那么琴森不等式的结论如何证明呢？下面使用数学归纳法证明。

证明：  
已知当n=2的时候，琴森不等式成立，即：  
 f ( λ a + ( 1 − λ ) b ) ≤ λ f ( a ) + ( 1 − λ ) f ( b ) f(\\lambda a+(1-\\lambda )b) \\le \\lambda f(a) + (1-\\lambda )f(b) f(λa\+(1−λ)b)≤λf(a)\+(1−λ)f(b)  
假设当n=N时该结论成立，有：  
 f ( ∑ i = 1 n a i x i ) ≤ ∑ i = 1 n a i f ( x i ) f(\\sum\_\{i=1\}^n\{a\_ix\_i\}) \\le \\sum\_\{i=1\}^n\{a\_if(x\_i)\} f(i=1∑naixi)≤i=1∑naif(xi)  
只需证明当n=N+1时该结论仍然成立即可，当n=N+1时，有：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70]

因此，当n=N+1时，不等式仍然成立，即证。

\----- 本文完 -----

[image.png]: /images/20221024/823eadb796e44713919d18c0fd4e595a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70]: /images/20221024/6146252590d34ffbabd7a4bb2a56db15.png