【ML笔记】梯度提升决策树（GBDT）和随机森林（RF）的异同

迈不过友情╰ 2022-06-11 01:22 533阅读 0赞

## GBDT和RF简介 ##

### GBDT（Gradient Boosting Decision Tree） ###

DT + Boosting = GBDT

GBDT是一种boosting算法。boosting工作机制：先从初始训练集训练处一个基学习器，然后在根据基学习器的表现对训练样本分布进行调整，使得先前的基学习器做错的训练样本在后续获得更多关注（增加错误样本权重），然后基于调整后的样本分布训练下一个基学习器，如此重复，直到基学习器达到指定的T时，最终将T个基学习器进行加权结合，得出预测。

### RF（Random Forest） ###

DT + Bagging = RF

随机森林是bagging的一种扩展，在k个数据集选择的时候后，引入了随机属性选择。加入所有属性个数为d，k是随机选择的属性个数。那么k=d的时候，就没有改变。那么k=1的时候后，随机选择一个属性用于计算。推荐的k=log2d.  
随机森林的基学习器一般是决策树算法-主要，也有神经网络。  
随机森林是对bagging算法的一点改动，但是根能提现样本集之间的差异性。会提高最终预测结果的泛化能力。

## GBDT和随机森林的相同点 ##

1、都是由多棵树组成  
2、最终的结果都是由多棵树一起决定

## GBDT和随机森林的不同点 ##

1、组成随机森林的树可以是分类树，也可以是回归树；而GBDT只由回归树组成  
2、组成随机森林的树可以并行生成；而GBDT只能是串行生成  
3、对于最终的输出结果而言，随机森林采用多数投票等；而GBDT则是将所有结果累加起来，或者加权累加起来  
4、随机森林对异常值不敏感，GBDT对异常值非常敏感  
5、随机森林对训练集一视同仁，GBDT是基于权值的弱分类器的集成  
6、随机森林是通过减少模型方差提高性能，GBDT是通过减少模型偏差提高性能

## 参考文献 ##

周志华《机器学习》

[http://blog.csdn.net/wangqi880/article/details/70208101  
][http_blog.csdn.net_wangqi880_article_details_70208101]

[http://www.cnblogs.com/LeftNotEasy/archive/2011/03/07/random-forest-and-gbdt.html][http_www.cnblogs.com_LeftNotEasy_archive_2011_03_07_random-forest-and-gbdt.html]

[http_blog.csdn.net_wangqi880_article_details_70208101]: http://blog.csdn.net/wangqi880/article/details/70208101
[http_www.cnblogs.com_LeftNotEasy_archive_2011_03_07_random-forest-and-gbdt.html]: http://www.cnblogs.com/LeftNotEasy/archive/2011/03/07/random-forest-and-gbdt.html