随机森林 OOB理解

╰半夏微凉° 2023-06-09 15:24 6阅读 0赞

一个大小为N的数据集D.

1.有一个问题是, 对于随机森林的每一棵CART树是怎么训练的, 如何划分训练集测试集?

Bootstrap, 对数据集随机有放回抽样N次作为一棵CART树的训练集.

根据概率论,可知数据集中有大约1/3的数据是没有被选取的(称为Out of bag),所以就是这没被选取的部分作为小树的测试集.

![70][]

2. 接下来的问题是, 怎么测试随机森林的性能, 测试集是什么?

这里其实理解的有偏差: 随机森林有一个重要的优点就是，没有必要对它进行交叉验证或者用一个独立的测试集来获得误差的一个无偏估计。它可以在内部进行评估，也就是说在生成的过程中就可以对误差建立一个无偏估计。

实际上, 数据集D中的每一个样本都可以拿来做测试数据, 对于一个样本d, 森林中大约有1/e树是OOB的, 那么这1/e的树就构成了预测样本d的森林,用简单投票法计算分类结果. 从而得到总的error.

(Put each case left out in the construction of the kth tree down the kth tree to get a classification. In this way, a test set classification is obtained for each case in about one-third of the trees. At the end of the run, take j to be the class that got most of the votes every time case n was oob. The proportion of times that j is not equal to the true class of n averaged over all cases is the oob error estimate. This has proven to be unbiased in many tests.)原文  
————————————————  
版权声明：本文为CSDN博主「nemoyy」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/nemoyy/article/details/80317936

[70]: /images/20230531/41a585117a0446958440728001b879d5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关随机森林代码

1.描述鸢尾花判断 2.代码 1.Iris\_DecisionTree.py !/usr/bin/python -*- coding:u...

清疚/ 2024年04月17日 19:22/ 0 赞/ 84 阅读

相关随机森林算法OOB_SCORE最佳特征选择

RandomForest算法（有监督学习），可以根据输入数据，选择最佳特征组合，减少特征冗余；原理：由于随机决策树生成过程采用的Boostrap，所以在一棵树

女爷i/ 2023年08月17日 16:52/ 0 赞/ 128 阅读

相关随机森林 OOB理解

一个大小为N的数据集D. 1.有一个问题是, 对于随机森林的每一棵CART树是怎么训练的, 如何划分训练集测试集? Bootstrap, 对数据集随机有放回抽样N次作为一棵

╰半夏微凉°/ 2023年06月09日 15:24/ 0 赞/ 7 阅读

相关理解随机森林

理解随机森林随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候投票决定测试样本的最终类别。下面我们再详细说一下随机森林是如何构建的。随机

「爱情、让人受尽委屈。」/ 2022年08月06日 01:28/ 0 赞/ 223 阅读

相关随机森林算法

转载自：[http://www.zilhua.com/629.html][http_www.zilhua.com_629.html] 1. 随机森林使用背景 1.1 随机森

ゞ浴缸里的玫瑰/ 2022年07月03日 23:41/ 0 赞/ 275 阅读

相关随机森林

一、决策树决策树是机器学习最基本的模型，在不考虑其他复杂情况下，我们可以用一句话来描述决策树：如果得分大于等于60分，那么你及格了。这是一个最最简单的决策树的模型，

素颜马尾好姑娘i/ 2022年06月03日 22:06/ 0 赞/ 293 阅读

相关 RandomForest随机森林

来源：http://blog.csdn.net/songzitea/article/details/10035757 在机器学习中，随机森林由许多的决策树组成，因为这些决策树

痛定思痛。/ 2022年05月30日 09:06/ 0 赞/ 297 阅读

相关随机森林

随机森林是一个包含多个决策树的分类器，是一种集成学习方法（三个臭皮匠赛过诸葛亮）。 1 随机森林原理过程训练集： N个样本特征值目标值 M个特征随

超、凢脫俗/ 2022年04月23日 01:16/ 0 赞/ 228 阅读

相关随机森林

一直在找随机森林的理解文档，今天发现一个挺不错的，这里分享给大家阅读目录 [1 什么是随机森林？][1] [2 随机森林的特点][2] [3 随机森林的

梦里梦外;/ 2022年04月16日 06:29/ 0 赞/ 321 阅读

相关随机森林

概述：随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候投票决定测试样本的最终类别。下面我们再详细说一下随机森林是如何构建的。随机森林主要包括

谁践踏了优雅/ 2021年09月13日 23:24/ 0 赞/ 388 阅读