机器学习中的假设检验

素颜马尾好姑娘i 2023-07-01 04:23 28阅读 0赞

### 机器学习中的假设检验 ###

*  前言
 *  假设检验

# 前言 #

在前文中，我们了解了实验模型的评估方法和性能度量，看起来就能够对学习器进行评估比较了：先使用某种评估方法测得学习器的某个性能度量结果，然后对这些结果进行比较。那么如何作比较呢？是直接取得性能度量的值然后比“大小”吗？但实际上没有这么简单，因为我们希望比较的是泛化性能，但通过实验的方法我们能获得的只是测试集上的性能，两者未必相同，其次，由于测试集选择的不同，测试集上的性能也未必相同，第三，很多机器学习算法本身具有一定的随机性，即使是同一个算法，因为参数设置的不同，产生的结果也不同。那么有没有合适的方法去比较学习器的性能呢？

# 假设检验 #

统计假设检验能够为我们进行学习器性能比较提供依据，基于假设检验的结果，可以推断出，如果在测试集上观察到学习器A比B好，则A的泛化性能是否优于B，以及这个结论的把握有多大。下面先来看看两种最基本的假设检验。  
  假设检验中常以错误率为性能度量，用 ε 表示，“假设”是对学习器泛化错误率分布的某种判断和猜想，现实中我们无法获得泛化错误率，只能获知测试错误率 ε’，两者之间接近的可能性比较大，相差很远的可能性比较小。  
  泛化错误率为ε的学习器在一个样本上犯错的概率是ε，测试错误率ε’意味着在m个测试样本中恰好有m × ε’个被错误分类，假设测试样本是从样本总体分布中独立采样取得的，那么泛化错误率为ε的学习器将其中m’个样本误分类，其余样本全部正确分类的概率为：

( m m ′ ) ϵ m ′ ( 1 − ϵ ) m − ϵ × m \\begin\{pmatrix\} m \\\\ m' \\\\ \\end\{pmatrix\}\\epsilon^\{m'\}(1-\\epsilon)^\{m-\\epsilon\\times\{m\}\} (mm′)ϵm′(1−ϵ)m−ϵ×m

由此可以估算出恰好将m × ε’个样本误分类的概率如下，这也表达了在包含m个样本的测试集上，泛化错误率为ε的学习器被测得测试错误率为ε’的概率。

P ( ϵ ′ ; ϵ ) = ( m ϵ ′ × m ) ϵ ϵ ′ × m ( 1 − ϵ ) m − ϵ ′ × m P(\\epsilon';\\epsilon) = \\begin\{pmatrix\} m \\\\ \\epsilon'\\times\{m\} \\\\ \\end\{pmatrix\}\\epsilon^\{\\epsilon'\\times\{m\}\}(1-\\epsilon)^\{m-\\epsilon'\\times\{m\}\} P(ϵ′;ϵ)=(mϵ′×m)ϵϵ′×m(1−ϵ)m−ϵ′×m

给定测试错误率，则解得P(ε’;ε)在ε = ε’时最大，|ε-ε’|的绝对值增大时，P(ε’;ε)减小，这符合二项分布  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qdXN0aW5uZWlsLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]  
  我们可以使用二项检验来对“ε<=0.3”这样的假设进行检验，或者更一般的，考虑假设“ε <= ε0”，则在1 - α的概率内所能观察到的最大错误率如下式,这里的1-α反映了结论的“置信度”。直观地来看，对应上面的柱状图中阴影部分的范围。  
![$$][20200119231958755.png]

Tips: s.t. 的意思是subject to ,即左边的式子在右边满足条件时成立。

这个时候如果测试错误率小于临界值，则根据二项检验可以得出结论：在α的显著度下，假设“ε <= ε0”不能被拒绝，即能以1-α的置信度认为，学习器的泛化错误率不大于ε0；否则该假设可以被拒绝，即α的显著度下，可认为学习器的泛化错误率大于ε0。  
  在多数情况下我们并不是只做一次留出法估计，而是通过多次重复留出法或者是交叉验证法多次训练、测试，这样就会得到多个测试错误率，此时可以使用“t检验”。假设我们得到了k个测试错误率，则平均测试错误率和方差分别为  
![在这里插入图片描述][20200120074923811.png]  
  考虑到这k个测试错误率可以看做是ε0的独立采样，则变量  
![在这里插入图片描述][20200120075109335.png]  
服从自由度为k-1的t分布，如下图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qdXN0aW5uZWlsLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]  
  对假设“μ=ε0”和显著度α，我们可以计算出测试错误率均值为ε0时，在1 - α概率内能观测到的最大错误率，即临界值。这里考虑双边假设，上图中两边阴影部分各有α/2的面积；假设阴影部分范围分别为（-∞，-α/2\],\[α/2,∞)。如果平均错误率μ与ε0之差|μ-ε0|位于临界值范围\[-α/2,α/2\]内，则不能拒绝假设“μ=ε0”，即可认为泛化错误率为ε0，置信度为1 -α，否则可拒绝该假设。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qdXN0aW5uZWlsLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200119230940621.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9qdXN0aW5uZWlsLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70
[20200119231958755.png]: https://img-blog.csdnimg.cn/20200119231958755.png
[20200120074923811.png]: https://img-blog.csdnimg.cn/20200120074923811.png
[20200120075109335.png]: https://img-blog.csdnimg.cn/20200120075109335.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qdXN0aW5uZWlsLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200120075135898.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9qdXN0aW5uZWlsLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70