R: 学习Gradient Boosting算法，提高预测模型准确率

「爱情、让人受尽委屈。」 2022-08-19 01:42 191阅读 0赞

引言

预测模型的准确率可以用2种方法来提高：要么进行特征设计,要么直接使用boosting算法。参加过许多数据科学大赛后，我发现许多人喜欢用boosting算法，因为它只需更少的时间就能产生相似的结果。

目前有许多boosting算法，如Gradient Boosting、 XGBoost,、AdaBoost和Gentle Boost等等。每个算法都有自己基本的数学原理并且在使用它们时都会发现有一些细微的变化。如果你刚接触boosting算法，那太好了！从现在开始你可以在一周内学习所有这些概念。

在本文中，我解释了Gradient Boosting算法的基本概念和复杂性。另外，我也分享了一个实例来学习它在R中的应用。

简要的说明

一旦使用boosting算法，你很快就会发现两个频繁出现的术语：Bagging和Boosting。那么，它们有什么不同呢？下面将一一解释：

Bagging：这是一种方法，当你使用随机采样的数据，建立学习算法，采取简单的手段以找到bagging的可能性。

Boosting：与Bagging类似，但是，对样本的选择更智能。我们随后会对难以分类的样本分配较大的权重。

好！我明白你脑中会产生类似的疑问，像‘难以分类的样本’是什么意思？我怎么知道应该要给错误分类的样本多少额外的权重？不要着急，接下来我将回答你所有的疑问。

让我们从一个简单的例子开始学习

假设，你需要改进先前的模型M。现在，你发现模型已经有80%（在所有指标下）的准确率。你怎样提高M的性能呢？

一种简单的办法是利用一个新的输入变量集建立一个完全不同的模型，并尝试更好的学习模型。与之相反，我有一个更简单的方法，该模型是这样的：

Y = M(x) + error

如果我能够看到误差（error）并不是白噪声，而是跟输出结果（Y）有相关性呢？倘若我们在误差项（error）上再建立一个模型呢？比如，

error = G(x) + error2

也许，你会看到误差率提高到一个更高的数字，比如84%。让我们继续另一个步骤并对error2进行回归。

error2 = H(x) + error3

现在，我们把所有这些组合到一起：

Y = M(x) + G(x) + H(x) + error3

这也许会有超过84%的准确率。如果我们能够找到这三个学习模型的每一个的优化权重呢？

Y = alpha \* M(x) + beta \* G(x) + gamma \* H(x) + error4

如果我们找到了好的权重，我们很有可能做了一个更好的模型。这是boosting学习的基本原则。当我第一次读到这个理论时，很快我就产生了2个问题：

1. 在回归/分类等式中我们能真正看到非白噪声误差么？如果不能，我们怎么能使用这个算法。

2. 如果这有可能的话，为什么没有接近100%的准确率呢？

在本文中我将以清晰简洁的方式来回答这些问题，Boosting通常用于弱学习，即没有分离白噪声的能力。第二，因为boosting会导致过拟合，所以我们需要在正确的时间点停止。

让我们试试把一个分类问题可视化

请看下面的图表：

我们从第一个箱线图开始。我们看到一条垂直线，这是我们的第一个弱学习模型。这时我们有3/10的误分类率。现在我们对3个误分类的样本分配更高的权重，此时，对它们分类非常重要。因此，垂直线向右边缘靠近。我们重复这个操作，然后以恰当的权重组合每个学习模型。

相关数学概念的解释

如何给样本分配权重

我们以均匀分布的假设开始。将它记作D1，即在n个样本中出现的概率为1/n。

步骤1:假设alpha(t)

步骤2:得到弱分类结果h(t)

步骤3:在下次迭代中更新的总量分布

步骤4:在下次迭代中使用新的总量分布来找到下一个学习模型

被步骤3的数学表达式吓到了么？我来给你解释一下。简单地看一下e指数的参数，alpha是学习率，y是真实的响应（+1或-1），h(x)是通过学习得到的预测分类。本质上，如果学习有错误的话，e指数的值变成1\*alpha或者-1\*alpha。重要的是，如果最后一次预测出错，权重将会增加。那么接下来怎么做呢？

步骤5:迭代步骤1至步骤4直到找不到假设可以进一步提高。

步骤6：到目前为止，在所有用到的学习模型前使用加权平均。但是权重是多少呢？这里权重就是alpha值，alpha的计算公式如下：

是时候实践一下了，下面是个实例

最近我参加了由Analytics Vidhya组织的在线编程马拉松。为了变量转换更容易，我把文件complete\_data中的测试数据和训练数据组合起来使用。我从基本的导入函数开始，把总量分到Devlopment、ITV和Scoring中。

\#加载caret包，清空工作空间变量，并设置工作空间

library(caret)

rm(list=ls())

setwd("C:\\\\Users\\\\ts93856\\\\Desktop\\\\AV")

\#导入Metrice包

library(Metrics)

\#读取complete\_data.csv文件

complete <- read.csv("complete\_data.csv", stringsAsFactors = TRUE)

\#提取训练集，评分集

train <- complete\[complete$Train == 1,\]

score <- complete\[complete$Train != 1,\]

\#设置随机种子

set.seed(999)

\#对训练集和测试集进行采样

ind <- sample(2, nrow(train), replace=T, prob=c(0.60,0.40))

trainData<-train\[ind==1,\]

testData <- train\[ind==2,\]

set.seed(999)

ind1 <- sample(2, nrow(testData), replace=T, prob=c(0.50,0.50))

trainData\_ens1<-testData\[ind1==1,\]

testData\_ens1 <- testData\[ind1==2,\]

table(testData\_ens1$Disbursed)\[2\]/nrow(testData\_ens1)

\#Response Rate of 9.052%

下面你要做的是建立GBM模型。

fitControl <- trainControl(method = "repeatedcv", number = 4, repeats = 4)

trainData$outcome1 <- ifelse(trainData$Disbursed == 1, "Yes","No")

set.seed(33)

\#将训练数据放入训练池中对模型参数训练，这里采样线性模型，方法采用gbm估计

gbmFit1 <- train(as.factor(outcome1) ~ ., data = trainData\[,-26\], method = "gbm", trControl = fitControl,verbose = FALSE)

\#测试数据套入模型中进行验证预测

gbm\_dev <- predict(gbmFit1, trainData,type= "prob")\[,2\]

gbm\_ITV1 <- predict(gbmFit1, trainData\_ens1,type= "prob")\[,2\]

gbm\_ITV2 <- predict(gbmFit1, testData\_ens1,type= "prob")\[,2\]

\#计算模型AUC曲线

auc(trainData$Disbursed,gbm\_dev)

auc(trainData\_ens1$Disbursed,gbm\_ITV1)

auc(testData\_ens1$Disbursed,gbm\_ITV2)

在这段代码运行结束后，正如你所看到的，所有AUC值将非常接近0.84，我将把特征设计的任务留给你，因为比赛还在继续进行中。同时欢迎你使用此代码来参加比赛。GBM是最为广泛使用的算法。XGBoost是另外一个提高学习模型的较快版本。

结语

我已经发现boosting学习非常快而且极其高效。它们从来不让我失望，总是能在kaggle或其它平台上能获得较高的初始评分。然而，这一切还取决你如何进行好的特征设计。

你以前使用过Gradient Boosting么？模型运行结果如何？你有没有使用boosting学习来提高其它方面的能力。

文章来源：大数据文摘

发表评论取消回复

表情：

评论列表（有 0 条评论，191人围观）

还没有评论，来说两句吧...

相关阅读

相关训练多个epoch来提高训练模型的准确率

1 问题对模型进行训练后，测试集测试的结果与真实值之间的占比称为准确率，准确率往往是评估网络的一个重要指标。而用同一数据集训练神经网络，每次训练得到的准确率结果却不一样并且

待我称王封你为后i/ 2024年04月03日 11:55/ 0 赞/ 73 阅读

相关如何提高深度学习预测准确率

问题在深度学习中，评估模型很重要的一点就是准确率，就是正例预测也是正例的数量占所有预测是正例的数量的比例，但在模型训练中，准确率有时候不是很高，我们就需要来提高准确率，

偏执的太偏执、/ 2024年04月03日 09:02/ 0 赞/ 115 阅读

相关预测算法模型（灰色预测和BP神经网络）

来源：数学建模清风学习内容整理 -------------------- 文章目录灰色预测模型 GM数学模型和原理 GM(1,1)模

小咪咪/ 2023年09月28日 17:44/ 0 赞/ 156 阅读

相关提升10%！如何将机器学习模型准确率从80%提高到90%以上

> 全文共2402字，预计学习时长7分钟 ![提升10%！如何将机器学习模型准确率从80%提高到90%以上][10_80_90] 图源：unsplash 说实

╰+哭是因爲堅強的太久メ/ 2022年12月12日 12:25/ 0 赞/ 131 阅读

相关 r语言 python 股票_R语言使用ARIMA模型预测股票收益

原文链接：http://tecdat.cn/?p=2831 “预测非常困难，特别是关于未来”。丹麦物理学家尼尔斯·波尔(Neils Bohr) 很多人都会看到这句名言。预测

﹏ヽ暗。殇╰゛Y/ 2022年10月26日 12:51/ 0 赞/ 254 阅读

相关 Gradient Boosting Machine总结

[Gradient Boosting Machine总结 - 知乎 (zhihu.com)][Gradient Boosting Machine_ - _ _zhihu.com

妖狐艹你老母/ 2022年10月11日 03:59/ 0 赞/ 156 阅读

相关机器学习——Gradient Boost Decision Tree(&Treelink)

引用：[http://www.cnblogs.com/joneswood/archive/2012/03/04/2379615.html][http_www.cnblogs.c

朴灿烈づ我的快乐病毒、/ 2022年08月21日 14:55/ 0 赞/ 172 阅读

相关 R: 学习Gradient Boosting算法，提高预测模型准确率

引言预测模型的准确率可以用2种方法来提高：要么进行特征设计,要么直接使用boosting算法。参加过许多数据科学大赛后，我发现许多人喜欢用boosting算法，因为它只需更

「爱情、让人受尽委屈。」/ 2022年08月19日 01:42/ 0 赞/ 192 阅读

相关机器学习中的数学(3)-模型组合(Model Combining)之Boosting与Gradient Boosting

版权声明：本文由LeftNotEasy发布于[http://leftnoteasy.cnblogs.com][http_leftnoteasy.cnblogs.com],

╰半橙微兮°/ 2022年06月18日 04:56/ 0 赞/ 152 阅读

相关【机器学习】组合算法 Bootstraping, Bagging, Boosting, AdaBoost, RandomForest, Gradient boosting

组合模型 Bootstraping 名字来自成语“pull up by your own bootstraps”，意思就是依靠你自己的资源，称为自助法，它是一种有放

女爷i/ 2022年05月23日 22:36/ 0 赞/ 260 阅读