XGBoost调参指南

客官°小女子只卖身不卖艺 2022-05-30 09:44 263阅读 0赞

## XGBoost调参指南 ##

[参考-官网][-]

### 方法1 ###

可按照**max\_depth, min\_child\_weight colsamplt\_bytree,eta**的顺序一个一个调，每次调的时候其他参数保持不变

### 方法2:防止过拟合 ###

When you observe high training accuracy, but low tests accuracy, it is likely that you encounter overfitting problem.

There are in general two ways that you can control overfitting in xgboost

*  The first way is to directly control model complexity  
    This include **max\_depth, min\_child\_weight and gamma**
 *  The second way is to add randomness to make training robust to noise  
    This include **subsample, colsample\_bytree**  
    You can also reduce stepsize **eta**, but needs to remember to increase **num\_round** when you do so.

## XGBoost参数 ##

[参考1-官网][1-] [参考2-CSDN][2-CSDN]  
  
XGBoost参数类型分为三种：  
\- general parameters/一般参数：决定使用哪种booster，可选gbtree、dart、gblinear  
\- booster parameters/提升器参数：不同的booster选取不同的参数  
\- task parameters/任务参数：设置学习场景，比如回归、二类分类、多类分类等

<table> 
 <thead> 
 <tr> 
 <th>参数类型</th> 
 <th>参数名</th> 
 <th>参数取值</th> 
 <th>默认值</th> 
 <th>说明</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>general</td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>booster</td> 
 <td>gbtree dart gblinear</td> 
 <td>gbtree</td> 
 <td>指定使用的booster。前两种为树模型，后两种为线性模型。一般用默认的就好</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>silent</td> 
 <td>0、1</td> 
 <td>0</td> 
 <td>0表示输出运行信息，1表示采取静默模式</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>nthread</td> 
 <td></td> 
 <td>系统允许的最大线程数</td> 
 <td>并发线程数</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>num_pbuffer</td> 
 <td>不可指定</td> 
 <td></td> 
 <td>缓冲池大小</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>num_feature</td> 
 <td>不可指定</td> 
 <td></td> 
 <td>特征维度</td> 
 </tr> 
 <tr> 
 <td>booster</td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 </tr> 
 <tr> 
 <td>Tree Booster</td> 
 <td>eta</td> 
 <td>[0,1]</td> 
 <td>0.3</td> 
 <td>学习率</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>gamma</td> 
 <td>[0,∞]</td> 
 <td>0</td> 
 <td>最小损失分裂。越大越保守，一般0.1、0.2这样子</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>max_depth</td> 
 <td>[0,∞]</td> 
 <td>6</td> 
 <td>树的最大深度。越大模型越复杂，越容易过拟合</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>min_child_weight</td> 
 <td>[0,∞]</td> 
 <td>1</td> 
 <td>子节点最小的权重。非常容易影响结果，参数数值越大，就越保守，越不会过拟合</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>max_delta_step</td> 
 <td>[0,∞]</td> 
 <td>0</td> 
 <td>最大delta的步数</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>subsample</td> 
 <td>(0,1]</td> 
 <td>1</td> 
 <td>子样本数目。是否只使用部分的样本进行训练，这可以避免过拟合化。默认为1，即全部用作训练。</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>colsample_bytree</td> 
 <td>(0,1]</td> 
 <td>1</td> 
 <td>每棵树的列数（特征数）</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>colsample_bylevel</td> 
 <td>(0,1]</td> 
 <td>1</td> 
 <td>每一层的列数（特征数）</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>lambda</td> 
 <td></td> 
 <td>1</td> 
 <td>L2正则化的权重</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>alpha</td> 
 <td></td> 
 <td>0</td> 
 <td>L1正则化的权重</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>tree_method</td> 
 <td>{‘auto’, ‘exact’, ‘approx’, ‘hist’, ‘gpu_exact’, ‘gpu_hist’}</td> 
 <td>‘auto’</td> 
 <td>树构造的算法</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>sketch_eps</td> 
 <td>(0,1)</td> 
 <td>0.03</td> 
 <td>当tree_mothed=’approx’才有用</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>scale_pos_weight</td> 
 <td></td> 
 <td>1</td> 
 <td>用在不均衡的分类中</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>updater</td> 
 <td></td> 
 <td>’grow_colmaker,prune’</td> 
 <td>更新器</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>refresh_leaf</td> 
 <td></td> 
 <td>1</td> 
 <td>当updater= refresh才有用</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>process_type</td> 
 <td>{‘default’, ‘update’}</td> 
 <td>’default’</td> 
 <td>程序运行方式。update表示更新已有的树</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>grow_policy</td> 
 <td>{‘depthwise’, ‘lossguide’}</td> 
 <td>’depthwise’</td> 
 <td>控制新结点加入树的方式。当tree_mothod=’hist’才有用</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>max_leaves</td> 
 <td></td> 
 <td>0</td> 
 <td>要添加的最大结点数</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>max_bin</td> 
 <td></td> 
 <td>256</td> 
 <td>当tree_mothod=’hist’才有用</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>predictor</td> 
 <td>{‘cpu_predictor’, ‘gpu_predictor’}</td> 
 <td>’cpu_predictor’</td> 
 <td>算法预测时采用的方式</td> 
 </tr> 
 <tr> 
 <td>Dart Booster （比Tree Booster增加了5个参数）</td> 
 <td>sample_type</td> 
 <td>{“uniform”,“weighted”}</td> 
 <td>“uniform”</td> 
 <td>选样方式</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>normalize_type</td> 
 <td>{“tree”, “forest”}</td> 
 <td>“tree”</td> 
 <td>正则化方式</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>rate_drop</td> 
 <td>[0.0, 1.0]</td> 
 <td>0.0</td> 
 <td>舍弃上一轮树的比例</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>one_drop</td> 
 <td></td> 
 <td>0</td> 
 <td>当值不为0的时候，至少有一棵树被舍弃</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>skip _drop</td> 
 <td>[0.0, 1.0]</td> 
 <td>0.0</td> 
 <td>跳过舍弃树的程序的概率</td> 
 </tr> 
 <tr> 
 <td>Linear Booster</td> 
 <td>lambda</td> 
 <td></td> 
 <td>0</td> 
 <td>L2正则化的权重</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>alpha</td> 
 <td></td> 
 <td>0</td> 
 <td>L1正则化的权重</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>lambda_bias</td> 
 <td></td> 
 <td>0</td> 
 <td>L2正则化的偏爱</td> 
 </tr> 
 <tr> 
 <td>Tweedie Regression （三种booster共有的参数）</td> 
 <td>tweedie_variance_power</td> 
 <td>(1,2)</td> 
 <td>1.5</td> 
 <td>接近2代表接近gamma分布，接近1代表接近泊松分布</td> 
 </tr> 
 <tr> 
 <td>task</td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>objective</td> 
 <td>“reg:linear” – 线性回归 “reg:logistic” – 逻辑回归 ”binary:logistic” – 逻辑回归处理二分类（输出概率） ”binary:logitraw” – 逻辑回归处理二分类（输出分数） ”count:poisson” – 泊松回归处理计算数据（输出均值、max_delta_step参数默认为0.7） ”multi:softmax” – 采用softmax目标函数处理多分类问题（需要设定类别数”num_class”） ”multi:softprob” – 多分类（与上一搁一样，只是它的输出是ndata*nclass ”rank:pairwise” – 处理排位问题 ”reg:gamma” – 用γ回归（返回均值） ”reg:tweedie” – 用特威迪回归</td> 
 <td>‘reg:linear’</td> 
 <td>定义学习任务及相应的学习目标</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>base_score</td> 
 <td></td> 
 <td>0.5</td> 
 <td>所有实例的初始预测得分</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>eval_metric</td> 
 <td></td> 
 <td>回归问题:rmse 分类问题:error 排位问题:map</td> 
 <td>评价指标/性能度量。Python可通过list传递多个评价指标</td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>seed</td> 
 <td></td> 
 <td>0</td> 
 <td>随机数种子。每次取一样的seed可得到相同的随机划分</td> 
 </tr> 
 <tr> 
 <td>Command Line</td> 
 <td></td> 
 <td></td> 
 <td></td> 
 <td></td> 
 </tr> 
 <tr> 
 <td></td> 
 <td>num_round</td> 
 <td></td> 
 <td></td> 
 <td>boosting的轮数/迭代次数</td> 
 </tr> 
 </tbody> 
</table>

xgb使用sklearn接口会改变的函数名是：[官网][Link 1]  
\- eta -> learning\_rate  
\- lambda -> reg\_lambda  
\- alpha -> reg\_alpha

我的[github][]上也有，欢迎大家去看

[-]: http://xgboost.readthedocs.io/en/latest/how_to/param_tuning.html
[1-]: http://xgboost.readthedocs.io/en/latest/parameter.html
[2-CSDN]: http://m.blog.csdn.net/qimiejia5584/article/details/78622442
[Link 1]: http://xgboost.readthedocs.io/en/latest/python/python_api.html#module-xgboost.sklearn
[github]: https://github.com/fuqiuai/learning_notes/blob/master/xgboost%E5%AD%A6%E4%B9%A0.md