机器学习系列(12)_XGBoost参数调优完全指南（附Python代码）

缺乏、安全感 2022-06-06 08:55 572阅读 0赞

# 机器学习系列(12)\_XGBoost参数调优完全指南（附Python代码） #

原文链接：http://blog.csdn.net/han\_xiaoyang/article/details/52665396

原文地址：[Complete Guide to Parameter Tuning in XGBoost][] by Aarshay Jain  
原文翻译与校对：[@MOLLY][MOLLY] && [寒小阳][Link 1] (hanxiaoyang.ml@gmail.com)  
时间：2016年9月。  
出处：[http://blog.csdn.net/han\_xiaoyang/article/details/52665396][http_blog.csdn.net_han_xiaoyang_article_details_52665396]  
声明：版权所有，转载请联系作者并注明出

## **1. 简介** ##

如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。  
构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就有些困难(至少我觉得十分纠结)。这个算法使用了好几个参数。所以为了提高模型的表现，参数的调整十分必要。在解决实际问题的时候，有些问题是很难回答的——你需要调整哪些参数？这些参数要调到什么值，才能达到理想的输出？  
这篇文章最适合刚刚接触XGBoost的人阅读。在这篇文章中，我们会学到参数调优的技巧，以及XGboost相关的一些有用的知识。以及，我们会用Python在一个数据集上实践一下这个算法。

## **2. 你需要知道的** ##

XGBoost(eXtreme Gradient Boosting)是Gradient Boosting算法的一个优化的版本。因为我在前一篇文章，[基于Python的Gradient Boosting算法参数调整完全指南][Python_Gradient Boosting]，里面已经涵盖了Gradient Boosting算法的很多细节了。我强烈建议大家在读本篇文章之前，把那篇文章好好读一遍。它会帮助你对Boosting算法有一个宏观的理解，同时也会对GBM的参数调整有更好的体会。

*特别鸣谢*：我个人十分感谢Mr Sudalai Rajkumar (aka SRK)大神的支持，目前他在AV Rank中位列第二。如果没有他的帮助，就没有这篇文章。在他的帮助下，我们才能给无数的数据科学家指点迷津。给他一个大大的赞！

## **3. 内容列表** ##

1、**XGBoost的优势**  
2、**理解XGBoost的参数**  
3、**调参示例**

## **4. XGBoost的优势** ##

XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势：

### **4.1 正则化** ###

*  标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。
 *  实际上，XGBoost以“正则化提升(regularized boosting)”技术而闻名。

### **4.2 并行处理** ###

*  XGBoost可以实现并行处理，相比GBM有了速度的飞跃。
 *  不过，众所周知，Boosting算法是顺序处理的，它怎么可能并行呢？每一课树的构造都依赖于前一棵树，那具体是什么让我们能用多核处理器去构造一个树呢？我希望你理解了这句话的意思。如果你希望了解更多，点击这个[链接][Link 2]。
 *  XGBoost 也支持Hadoop实现。

### **4.3 高度的灵活性** ###

*  XGBoost 允许用户定义**自定义优化目标和评价标准**
 *  它对模型增加了一个全新的维度，所以我们的处理不会受到任何限制。

### **4.4 缺失值处理** ###

*  XGBoost内置处理缺失值的规则。
 *  用户需要提供一个和其它样本不同的值，然后把它作为一个参数传进去，以此来作为缺失值的取值。XGBoost在不同节点遇到缺失值时采用不同的处理方法，并且会学习未来遇到缺失值时的处理方法。

### **4.5 剪枝** ###

*  当分裂时遇到一个负损失时，GBM会停止分裂。因此GBM实际上是一个**贪心算法**。
 *  XGBoost会一直分裂到指定的最大深度(max\_depth)，然后回过头来剪枝。如果某个节点之后不再有正值，它会去除这个分裂。
 *  这种做法的优点，当一个负损失（如-2）后面有个正损失（如+10）的时候，就显现出来了。GBM会在-2处停下来，因为它遇到了一个负值。但是XGBoost会继续分裂，然后发现这两个分裂综合起来会得到+8，因此会保留这两个分裂。

### **4.6 内置交叉验证** ###

*  XGBoost允许在每一轮boosting迭代中使用交叉验证。因此，可以方便地获得最优boosting迭代次数。
 *  而GBM使用网格搜索，只能检测有限个值。

### **4.7、在已有的模型基础上继续** ###

*  XGBoost可以在上一轮的结果上继续训练。这个特性在某些特定的应用上是一个巨大的优势。
 *  sklearn中的GBM的实现也有这个功能，两种算法在这一点上是一致的。

相信你已经对XGBoost强大的功能有了点概念。注意这是我自己总结出来的几点，你如果有更多的想法，尽管在下面评论指出，我会更新这个列表的！

你的胃口被我吊起来了吗？棒棒哒！如果你想更深入了解相关信息，可以参考下面这些文章：  
[XGBoost Guide - Introduce to Boosted Trees][]  
[Words from the Auther of XGBoost ][Words from the Auther of XGBoost]\[Viedo\]

## **5. XGBoost的参数** ##

XGBoost的作者把所有的参数分成了三类：

1.  通用参数：宏观函数控制。
2.  Booster参数：控制每一步的booster(tree/regression)。
3.  学习目标参数：控制训练目标的表现。

在这里我会类比GBM来讲解，所以作为一种基础知识，强烈推荐先阅读[这篇文章][Python_Gradient Boosting]。

### **5.1 通用参数** ###

这些参数用来控制XGBoost的宏观功能。

#### **1、booster\[默认gbtree\]** ####

*  选择每次迭代的模型，有两种选择：  
    gbtree：基于树的模型  
    gbliner：线性模型

#### **2、silent\[默认0\]** ####

*  当这个参数值为1时，静默模式开启，不会输出任何信息。
 *  一般这个参数就保持默认的0，因为这样能帮我们更好地理解模型。

#### **3、nthread\[默认值为最大可能的线程数\]** ####

*  这个参数用来进行多线程控制，应当输入系统的核数。
 *  如果你希望使用CPU全部的核，那就不要输入这个参数，算法会自动检测它。

还有两个参数，XGBoost会自动设置，目前你不用管它。接下来咱们一起看booster参数。

### **5.2 booster参数** ###

尽管有两种booster可供选择，我这里只介绍**tree booster**，因为它的表现远远胜过**linear booster**，所以linear booster很少用到。

#### **1、eta\[默认0.3\]** ####

*  和GBM中的 learning rate 参数类似。
 *  通过减少每一步的权重，可以提高模型的鲁棒性。
 *  典型值为0.01-0.2。

#### **2、min\_child\_weight\[默认1\]** ####

*  决定最小叶子节点样本权重和。
 *  和GBM的 min\_child\_leaf 参数类似，但不完全一样。XGBoost的这个参数是最小*样本权重的和*，而GBM参数是最小*样本总数*。
 *  这个参数用于避免过拟合。当它的值较大时，可以避免模型学习到局部的特殊样本。
 *  但是如果这个值过高，会导致欠拟合。这个参数需要使用CV来调整。

#### **3、max\_depth\[默认6\]** ####

*  和GBM中的参数相同，这个值为树的最大深度。
 *  这个值也是用来避免过拟合的。max\_depth越大，模型会学到更具体更局部的样本。
 *  需要使用CV函数来进行调优。
 *  典型值：3-10

#### **4、max\_leaf\_nodes** ####

*  树上最大的节点或叶子的数量。
 *  可以替代max\_depth的作用。因为如果生成的是二叉树，一个深度为n的树最多生成*n*2个叶子。
 *  如果定义了这个参数，GBM会忽略max\_depth参数。

#### **5、gamma\[默认0\]** ####

*  在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。
 *  这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的。

#### **6、max\_delta\_step\[默认0\]** ####

*  这参数限制每棵树权重改变的最大步长。如果这个参数的值为0，那就意味着没有约束。如果它被赋予了某个正值，那么它会让这个算法更加保守。
 *  通常，这个参数不需要设置。但是当各类别的样本十分不平衡时，它对逻辑回归是很有帮助的。
 *  这个参数一般用不到，但是你可以挖掘出来它更多的用处。

#### **7、subsample\[默认1\]** ####

*  和GBM中的subsample参数一模一样。这个参数控制对于每棵树，随机采样的比例。
 *  减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。
 *  典型值：0.5-1

#### **8、colsample\_bytree\[默认1\]** ####

*  和GBM里面的max\_features参数类似。用来控制每棵随机采样的列数的占比(每一列是一个特征)。
 *  典型值：0.5-1

#### **9、colsample\_bylevel\[默认1\]** ####

*  用来控制树的每一级的每一次分裂，对列数的采样的占比。
 *  我个人一般不太用这个参数，因为subsample参数和colsample\_bytree参数可以起到相同的作用。但是如果感兴趣，可以挖掘这个参数更多的用处。

#### **10、lambda\[默认1\]** ####

*  权重的L2正则化项。(和Ridge regression类似)。
 *  这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多用处的。

#### **11、alpha\[默认1\]** ####

*  权重的L1正则化项。(和Lasso regression类似)。
 *  可以应用在很高维度的情况下，使得算法的速度更快。

#### **12、scale\_pos\_weight\[默认1\]** ####

*  在各类别样本十分不平衡时，把这个参数设定为一个正值，可以使算法更快收敛。

### **5.3学习目标参数** ###

这个参数用来控制理想的优化目标和每一步结果的度量方法。

#### **1、objective\[默认reg:linear\]** ####

*  这个参数定义需要被最小化的损失函数。最常用的值有：  
    
    
     *  binary:logistic 二分类的逻辑回归，返回预测的概率(不是类别)。
     *  multi:softmax 使用softmax的多分类器，返回预测的类别(不是概率)。  
        
        
         *  在这种情况下，你还需要多设一个参数：num\_class(类别数目)。
     *  multi:softprob 和multi:softmax参数一样，但是返回的是每个数据属于各个类别的概率。

#### **2、eval\_metric\[默认值取决于objective参数的取值\]** ####

*  对于有效数据的度量方法。
 *  对于回归问题，默认值是rmse，对于分类问题，默认值是error。
 *  典型值有：  
    
    
     *  rmse 均方根误差(∑*N**i*=1*ϵ*2*N*−−−−−√)
     *  mae 平均绝对误差(∑*N**i*=1|*ϵ*|*N*)
     *  logloss 负对数似然函数值
     *  error 二分类错误率(阈值为0.5)
     *  merror 多分类错误率
     *  mlogloss 多分类logloss损失函数
     *  auc 曲线下面积

#### **3、seed(默认0)** ####

*  随机数的种子
 *  设置它可以复现随机数据的结果，也可以用于调整参数

如果你之前用的是Scikit-learn,你可能不太熟悉这些参数。但是有个好消息，python的XGBoost模块有一个sklearn包，XGBClassifier。这个包中的参数是按sklearn风格命名的。会改变的函数名是：

1、**eta -> learning\_rate**  
2、**lambda -> reg\_lambda**  
3、**alpha -> reg\_alpha**

你肯定在疑惑为啥咱们没有介绍和GBM中的`n_estimators`类似的参数。XGBClassifier中确实有一个类似的参数，但是，是在标准XGBoost实现中调用拟合函数时，把它作为`num_boosting_rounds`参数传入。  
XGBoost Guide 的一些部分是我强烈推荐大家阅读的，通过它可以对代码和参数有一个更好的了解：

[XGBoost Parameters (official guide)][XGBoost Parameters _official guide]  
[XGBoost Demo Codes (xgboost GitHub repository)][XGBoost Demo Codes _xgboost GitHub repository]  
[Python API Reference (official guide)][Python API Reference _official guide]

## **6. 调参示例** ##

我们从Data Hackathon 3.x AV版的hackathon中获得数据集，和[GBM 介绍文章][Python_Gradient Boosting]中是一样的。更多的细节可以参考[competition page][]  
数据集可以从[这里][Link 3]下载。我已经对这些数据进行了一些处理：

*  `City`变量，因为类别太多，所以删掉了一些类别。
 *  `DOB`变量换算成年龄，并删除了一些数据。
 *  增加了 `EMI_Loan_Submitted_Missing` 变量。如果`EMI_Loan_Submitted`变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的`EMI_Loan_Submitted`变量。
 *  `EmployerName`变量，因为类别太多，所以删掉了一些类别。
 *  因为`Existing_EMI`变量只有111个值缺失，所以缺失值补充为中位数0。
 *  增加了 `Interest_Rate_Missing` 变量。如果`Interest_Rate`变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的`Interest_Rate`变量。
 *  删除了`Lead_Creation_Date`，从直觉上这个特征就对最终结果没什么帮助。
 *  `Loan_Amount_Applied, Loan_Tenure_Applied` 两个变量的缺项用中位数补足。
 *  增加了 `Loan_Amount_Submitted_Missing` 变量。如果`Loan_Amount_Submitted`变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的`Loan_Amount_Submitted`变量。
 *  增加了 `Loan_Tenure_Submitted_Missing` 变量。如果 `Loan_Tenure_Submitted` 变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的 `Loan_Tenure_Submitted` 变量。
 *  删除了`LoggedIn`, `Salary_Account` 两个变量
 *  增加了 `Processing_Fee_Missing` 变量。如果 `Processing_Fee` 变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的 `Processing_Fee` 变量。
 *  `Source`前两位不变，其它分成不同的类别。
 *  进行了离散化和独热编码(一位有效编码)。

如果你有原始数据，可以从资源库里面下载`data_preparation`的`Ipython notebook` 文件，然后自己过一遍这些步骤。

首先，import必要的库，然后加载数据。

#Import libraries:
    import pandas as pd
    import numpy as np
    import xgboost as xgb
    from xgboost.sklearn import XGBClassifier
    from sklearn import cross_validation, metrics   #Additional     scklearn functions
    from sklearn.grid_search import GridSearchCV   #Perforing grid search
    
    import matplotlib.pylab as plt
    %matplotlib inline
    from matplotlib.pylab import rcParams
    rcParams['figure.figsize'] = 12, 4
    
    train = pd.read_csv('train_modified.csv')
    target = 'Disbursed'
    IDcol = 'ID'
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9 
          10 
          11 
          12 
          13 
          14 
          15 
          16

注意我import了两种XGBoost：

*  xgb - 直接引用xgboost。接下来会用到其中的“cv”函数。
 *  XGBClassifier - 是xgboost的sklearn包。这个包允许我们像GBM一样使用Grid Search 和并行处理。

在向下进行之前，我们先定义一个函数，它可以帮助我们建立XGBoost models 并进行交叉验证。好消息是你可以直接用下面的函数，以后再自己的models中也可以使用它。

def modelfit(alg, dtrain, predictors,useTrainCV=True, cv_folds=5, early_stopping_rounds=50):
    if useTrainCV:
        xgb_param = alg.get_xgb_params()
        xgtrain = xgb.DMatrix(dtrain[predictors].values, label=dtrain[target].values)
        cvresult = xgb.cv(xgb_param, xgtrain, num_boost_round=alg.get_params()['n_estimators'], nfold=cv_folds,
            metrics='auc', early_stopping_rounds=early_stopping_rounds, show_progress=False)
        alg.set_params(n_estimators=cvresult.shape[0])
    
    #Fit the algorithm on the data
    alg.fit(dtrain[predictors], dtrain['Disbursed'],eval_metric='auc')
    
    #Predict training set:
    dtrain_predictions = alg.predict(dtrain[predictors])
    dtrain_predprob = alg.predict_proba(dtrain[predictors])[:,1]
    
    #Print model report:
    print "\nModel Report"
    print "Accuracy : %.4g" % metrics.accuracy_score(dtrain['Disbursed'].values, dtrain_predictions)
    print "AUC Score (Train): %f" % metrics.roc_auc_score(dtrain['Disbursed'], dtrain_predprob)
    
    feat_imp = pd.Series(alg.booster().get_fscore()).sort_values(ascending=False)
    feat_imp.plot(kind='bar', title='Feature Importances')
    plt.ylabel('Feature Importance Score')
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9 
          10 
          11 
          12 
          13 
          14 
          15 
          16 
          17 
          18 
          19 
          20 
          21 
          22 
          23

这个函数和GBM中使用的有些许不同。不过本文章的重点是讲解重要的概念，而不是写代码。如果哪里有不理解的地方，请在下面评论，不要有压力。注意xgboost的sklearn包没有“feature\_importance”这个量度，但是get\_fscore()函数有相同的功能。

### **6.1 参数调优的一般方法** ###

我们会使用和GBM中相似的方法。需要进行如下步骤：

1.  选择较高的**学习速率(learning rate)**。一般情况下，学习速率的值为0.1。但是，对于不同的问题，理想的学习速率有时候会在0.05到0.3之间波动。选择**对应于此学习速率的理想决策树数量**。XGBoost有一个很有用的函数“cv”，这个函数可以在每一次迭代中使用交叉验证，并返回理想的决策树数量。
2.  对于给定的学习速率和决策树数量，进行**决策树特定参数调优**(max\_depth, min\_child\_weight, gamma, subsample, colsample\_bytree)。在确定一棵树的过程中，我们可以选择不同的参数，待会儿我会举例说明。
3.  xgboost的**正则化参数**的调优。(lambda, alpha)。这些参数可以降低模型的复杂度，从而提高模型的表现。
4.  降低学习速率，确定理想参数。

咱们一起详细地一步步进行这些操作。

#### **第一步：确定学习速率和tree\_based 参数调优的估计器数目** ####

为了确定`boosting`参数，我们要先给其它参数一个初始值。咱们先按如下方法取值：

1、`max_depth` = 5 :这个参数的取值最好在3-10之间。我选的起始值为5，但是你也可以选择其它的值。起始值在4-6之间都是不错的选择。

2、`min_child_weight` = 1:在这里选了一个比较小的值，因为这是一个极不平衡的分类问题。因此，某些叶子节点下的值会比较小。

3、`gamma` = 0: 起始值也可以选其它比较小的值，在0.1到0.2之间就可以。这个参数后继也是要调整的。

4、`subsample, colsample_bytree` = 0.8: 这个是最常见的初始值了。典型值的范围在0.5-0.9之间。

5、`scale_pos_weight` = 1: 这个值是因为类别十分不平衡。  
注意哦，上面这些参数的值只是一个初始的估计值，后继需要调优。这里把学习速率就设成默认的0.1。然后用xgboost中的cv函数来确定最佳的决策树数量。前文中的函数可以完成这个工作。

#Choose all predictors except target & IDcols
    predictors = [x for x in train.columns if x not in [target,IDcol]]
    xgb1 = XGBClassifier(
     learning_rate =0.1,
     n_estimators=1000,
     max_depth=5,
     min_child_weight=1,
     gamma=0,
     subsample=0.8,
     colsample_bytree=0.8,
     objective= 'binary:logistic',
     nthread=4,
     scale_pos_weight=1,
     seed=27)
    modelfit(xgb1, train, predictors)
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9 
          10 
          11 
          12 
          13 
          14 
          15

![1.-inital.png][]

从输出结果可以看出，在学习速率为0.1时，理想的决策树数目是140。这个数字对你而言可能比较高，当然这也取决于你的系统的性能。

> 注意：在AUC(test)这里你可以看到测试集的AUC值。但是如果你在自己的系统上运行这些命令，并不会出现这个值。因为数据并不公开。这里提供的值仅供参考。生成这个值的代码部分已经被删掉了。

#### **第二步： max\_depth 和 min\_weight 参数调优** ####

我们先对这两个参数调优，是因为它们对最终结果有很大的影响。首先，我们先大范围地粗调参数，然后再小范围地微调。  
注意：在这一节我会进行高负荷的栅格搜索(grid search)，这个过程大约需要15-30分钟甚至更久，具体取决于你系统的性能。你也可以根据自己系统的性能选择不同的值。

param_test1 = {
     'max_depth':range(3,10,2),
     'min_child_weight':range(1,6,2)
    }
    gsearch1 = GridSearchCV(estimator = XGBClassifier(         learning_rate =0.1, n_estimators=140, max_depth=5,
    min_child_weight=1, gamma=0, subsample=0.8,             colsample_bytree=0.8,
     objective= 'binary:logistic', nthread=4,     scale_pos_weight=1, seed=27), 
     param_grid = param_test1,     scoring='roc_auc',n_jobs=4,iid=False, cv=5)
    gsearch1.fit(train[predictors],train[target])
    gsearch1.grid_scores_, gsearch1.best_params_,     gsearch1.best_score_
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9 
          10

![输出结果][2.-tree-base-1.png]

至此，我们对于数值进行了较大跨度的12中不同的排列组合，可以看出理想的max\_depth值为5，理想的min\_child\_weight值为5。在这个值附近我们可以再进一步调整，来找出理想值。我们把上下范围各拓展1，因为之前我们进行组合的时候，参数调整的步长是2。

param_test2 = {
     'max_depth':[4,5,6],
     'min_child_weight':[4,5,6]
    }
    gsearch2 = GridSearchCV(estimator = XGBClassifier(     learning_rate=0.1, n_estimators=140, max_depth=5,
     min_child_weight=2, gamma=0, subsample=0.8, colsample_bytree=0.8,
     objective= 'binary:logistic', nthread=4, scale_pos_weight=1,seed=27), 
     param_grid = param_test2, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
    gsearch2.fit(train[predictors],train[target])
    gsearch2.grid_scores_, gsearch2.best_params_,     gsearch2.best_score_
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9 
          10

![输出结果][3.-tree-base-2.png]

至此，我们得到max\_depth的理想取值为4，min\_child\_weight的理想取值为6。同时，我们还能看到cv的得分有了小小一点提高。需要注意的一点是，随着模型表现的提升，进一步提升的难度是指数级上升的，尤其是你的表现已经接近完美的时候。当然啦，你会发现，虽然min\_child\_weight的理想取值是6，但是我们还没尝试过大于6的取值。像下面这样，就可以尝试其它值。

param_test2b = {
     'min_child_weight':[6,8,10,12]
     }
    gsearch2b = GridSearchCV(estimator = XGBClassifier(     learning_rate=0.1, n_estimators=140, max_depth=4,
     min_child_weight=2, gamma=0, subsample=0.8, colsample_bytree=0.8, objective= 'binary:logistic', nthread=4, scale_pos_weight=1,seed=27), param_grid = param_test2b, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
    
    gsearch2b.fit(train[predictors],train[target])
    
    modelfit(gsearch3.best_estimator_, train, predictors)
    
    gsearch2b.grid_scores_, gsearch2b.best_params_, gsearch2b.best_score_
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9 
          10 
          11

![输出结果][4.-tree-base-3.png]

我们可以看出，6确确实实是理想的取值了。

#### **第三步：gamma参数调优** ####

在已经调整好其它参数的基础上，我们可以进行gamma参数的调优了。Gamma参数取值范围可以很大，我这里把取值范围设置为5了。你其实也可以取更精确的gamma值。

param_test3 = {
     'gamma':[i/10.0 for i in range(0,5)]
    }
    gsearch3 = GridSearchCV(estimator = XGBClassifier( learning_rate =0.1, n_estimators=140, max_depth=4, min_child_weight=6, gamma=0, subsample=0.8, colsample_bytree=0.8, objective= 'binary:logistic', nthread=4, scale_pos_weight=1,seed=27), param_grid = param_test3, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
    
    gsearch3.fit(train[predictors],train[target])
    gsearch3.grid_scores_, gsearch3.best_params_, gsearch3.best_score_
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7

从这里可以看出来，我们在第一步调参时设置的初始gamma值就是比较合适的。也就是说，理想的gamma值为0。在这个过程开始之前，最好重新调整boosting回合，因为参数都有变化。  
![gamma][]  
从这里，可以看出，得分提高了。所以，最终得到的参数是：

xgb2 = XGBClassifier(
     learning_rate =0.1,
     n_estimators=1000,
     max_depth=4,
     min_child_weight=6,
     gamma=0,
     subsample=0.8,
     colsample_bytree=0.8,
     objective= 'binary:logistic',
     nthread=4,
    scale_pos_weight=1,
    seed=27)
    modelfit(xgb2, train, predictors)
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9 
          10 
          11 
          12 
          13

![最终参数][6.-xgb2.png]

# 第四步：调整subsample 和 colsample\_bytree 参数 #

下一步是尝试不同的subsample 和 colsample\_bytree 参数。我们分两个阶段来进行这个步骤。这两个步骤都取0.6,0.7,0.8,0.9作为起始值。

param_test4 = {
     'subsample':[i/10.0 for i in range(6,10)],
     'colsample_bytree':[i/10.0 for i in range(6,10)]
    }
    
    gsearch4 = GridSearchCV(estimator = XGBClassifier( learning_rate =0.1, n_estimators=177, max_depth=3, min_child_weight=4, gamma=0.1, subsample=0.8, colsample_bytree=0.8, objective= 'binary:logistic', nthread=4, scale_pos_weight=1,seed=27), param_grid = param_test4, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
    
    gsearch4.fit(train[predictors],train[target])
    gsearch4.grid_scores_, gsearch4.best_params_, gsearch4.best_score_
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9

![gsearch4][]

从这里可以看出来，subsample 和 colsample\_bytree 参数的理想取值都是0.8。现在，我们以0.05为步长，在这个值附近尝试取值。

param_test5 = {
     'subsample':[i/100.0 for i in range(75,90,5)],
     'colsample_bytree':[i/100.0 for i in range(75,90,5)]
    }
    
    gsearch5 = GridSearchCV(estimator = XGBClassifier( learning_rate =0.1, n_estimators=177, max_depth=4, min_child_weight=6, gamma=0, subsample=0.8, colsample_bytree=0.8, objective= 'binary:logistic', nthread=4, scale_pos_weight=1,seed=27), param_grid = param_test5, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
    
    gsearch5.fit(train[predictors],train[target])
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8

![output][]

我们得到的理想取值还是原来的值。因此，最终的理想取值是:

*  subsample: 0.8
 *  colsample\_bytree: 0.8

#### **第五步：正则化参数调优** ####

下一步是应用正则化来降低过拟合。由于gamma函数提供了一种更加有效地降低过拟合的方法，大部分人很少会用到这个参数。但是我们在这里也可以尝试用一下这个参数。我会在这里调整’reg\_alpha’参数，然后’reg\_lambda’参数留给你来完成。

param_test6 = {
     'reg_alpha':[1e-5, 1e-2, 0.1, 1, 100]
    }
    gsearch6 = GridSearchCV(estimator = XGBClassifier( learning_rate =0.1, n_estimators=177, max_depth=4, min_child_weight=6, gamma=0.1, subsample=0.8, colsample_bytree=0.8, objective= 'binary:logistic', nthread=4, scale_pos_weight=1,seed=27), param_grid = param_test6, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
    
    gsearch6.fit(train[predictors],train[target])
    gsearch6.grid_scores_, gsearch6.best_params_, gsearch6.best_score_
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7

![output][output 1]

我们可以看到，相比之前的结果，CV的得分甚至还降低了。但是我们之前使用的取值是十分粗糙的，我们在这里选取一个比较靠近理想值(0.01)的取值，来看看是否有更好的表现。

param_test7 = {
     'reg_alpha':[0, 0.001, 0.005, 0.01, 0.05]
    }
    gsearch7 = GridSearchCV(estimator = XGBClassifier( learning_rate =0.1, n_estimators=177, max_depth=4, min_child_weight=6, gamma=0.1, subsample=0.8, colsample_bytree=0.8, objective= 'binary:logistic', nthread=4, scale_pos_weight=1,seed=27), param_grid = param_test7, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
    
    gsearch7.fit(train[predictors],train[target])
    gsearch7.grid_scores_, gsearch7.best_params_, gsearch7.best_score_
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7

![output7][]

可以看到，CV的得分提高了。现在，我们在模型中来使用正则化参数，来看看这个参数的影响。

xgb3 = XGBClassifier(
     learning_rate =0.1,
     n_estimators=1000,
     max_depth=4,
     min_child_weight=6,
     gamma=0,
     subsample=0.8,
     colsample_bytree=0.8,
     reg_alpha=0.005,
     objective= 'binary:logistic',
     nthread=4,
     scale_pos_weight=1,
     seed=27)
    modelfit(xgb3, train, predictors)
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9 
          10 
          11 
          12 
          13 
          14

![out\_put3][out_put3]

然后我们发现性能有了小幅度提高。

#### **第6步：降低学习速率** ####

最后，我们使用较低的学习速率，以及使用更多的决策树。我们可以用XGBoost中的CV函数来进行这一步工作。

xgb4 = XGBClassifier(
     learning_rate =0.01,
     n_estimators=5000,
     max_depth=4,
     min_child_weight=6,
     gamma=0,
     subsample=0.8,
     colsample_bytree=0.8,
     reg_alpha=0.005,
     objective= 'binary:logistic',
     nthread=4,
     scale_pos_weight=1,
     seed=27)
    modelfit(xgb4, train, predictors)
        
         
          1 
          2 
          3 
          4 
          5 
          6 
          7 
          8 
          9 
          10 
          11 
          12 
          13 
          14

![此处输入图片的描述][12.-final-0.01.png]  
![此处输入图片的描述][xgb4_20_20XGBClassifier_28_20_20learning_rate_20_0.01_20_20n_estimators_5000_20_20max_depth_4_20_20min_child_weight_6_20_20gamma_0_20_20subsample_0.8_20_20colsample_bytree_0.8_20_20reg_alpha_0.005_20_20objective_20_27binary_logistic_27_20_20nthread_4_20_20scale_pos_weight_1_20_20seed_27_29_20modelfit_28xgb4_20train_20predictors_29]

至此，你可以看到模型的表现有了大幅提升，调整每个参数带来的影响也更加清楚了。  
在文章的末尾，我想分享两个重要的思想：  
1、仅仅靠参数的调整和模型的小幅优化，想要让模型的表现有个大幅度提升是不可能的。GBM的最高得分是0.8487，XGBoost的最高得分是0.8494。确实是有一定的提升，但是没有达到质的飞跃。  
2、要想让模型的表现有一个质的飞跃，需要依靠其他的手段，诸如，特征工程(feature egineering) ，模型组合(ensemble of model),以及堆叠(stacking)等。

你可以从 [ 这里][Link 4] 下载iPython notebook文件，里面包含了文章中提到的所有代码。如果你使用R语言，请阅读[这篇文章][Link 5]。

# 结束语 #

这篇文章主要讲了如何提升XGBoost模型的表现。首先，我们介绍了相比于GBM，为何XGBoost可以取得这么好的表现。紧接着，我们介绍了每个参数的细节。我们定义了一个可以重复使用的构造模型的函数。  
最后，我们讨论了使用XGBoost解决问题的一般方法，在AV Data Hackathon 3.x problem数据上实践了这些方法。  
希望看过这篇文章之后，你能有所收获，下次使用XGBoost解决问题的时候可以更有信心哦~

*  本文已收录于以下专栏：
 *  [机器学习与数据挖掘][Link 6]

[![3_sherri_du.jpg][] ][3_sherri_du.jpg_]

[![qq\_38843972][qq_38843972]][qq_38843972_qq_38843972]

*  #### [qq\_38843972][qq_38843972_qq_38843972] ####
    
    6天前 19:03 6楼
 *  File C:/Users/YTH/untitled1.py, line 48, in modelfit  
    feat\_imp1 = pd.Series(alg.booster().get\_fscore())  
      
    TypeError: str object is not callable
 *

[![qq\_35776173][qq_35776173]][qq_35776173_qq_35776173]

*  #### [qq\_35776173][qq_35776173_qq_35776173] ####
    
    2017-09-30 15:14 5楼
 *  我用python3.x运行代码，如果后面同学也是如果遇到和我同样的问题可参考：  
      
    def modelfit 中  
    cvresult = xgb.cv(xgb\_param, xgtrain, num\_boost\_round=alg.get\_params()\[&\#39;n\_estimators&\#39;\], nfold=cv\_folds,  
    metrics=&\#39;auc&\#39;, early\_stopping\_rounds=early\_stopping\_rounds, show\_progress=False)  
      
    errer关于show\_progress=False， 去掉此参数即可。  
      
    调整参数 max\_depth，因py2与py3 range函数有改变，故代码应修改为：  
    param\_test1 = \{ \#调整参数，  
    &\#39;max\_depth&\#39;:list(range(3,10,2)),  
    &\#39;min\_child\_weight&\#39;:list(range(1,6,2))  
    \}
 *

[![u013527905][]][u013527905 1]

*  #### [u013527905][u013527905 1] ####
    
    2017-08-15 14:47 4楼
 *  这个预测出来的值dtrain\_predictions都是0啊
 *

### 相关文章推荐 ###

## [XGBoost-Python完全调参指南-参数解释篇][XGBoost-Python_-] ##

关于XGBoost的参数，发现已经有比较完善的翻译了。故本文转载其内容，并作了一些修改与拓展。原文链接见：http://blog.csdn.net/zc02051126/article/detail...

*  [![wzmsltw][]][wzmsltw 1]
 *  [wzmsltw][wzmsltw 1]
 *  2016年03月27日 22:28
 *  38102

## [xgboost入门与实战（实战调参篇）][xgboost] ##

xgboost入门与实战（实战调参篇）前言前面几篇博文都在学习原理知识，是时候上数据上模型跑一跑了。本文用的数据来自kaggle，相信搞机器学习的同学们都知道它，kaggle上有几个老题目一直开放，适...

*  [![sb19931201][]][sb19931201 1]
 *  [sb19931201][sb19931201 1]
 *  2016年09月18日 20:33
 *  15353

![0f000cHqee1H0MkTEiNzq0.jpg][] ![Image 1][]

## 都是前端，月薪20K和40k的开发到底差距在哪？ ##

大学毕业后我成为前端开发者，从一开始的小白到现在的“高手”，我把一些感想记录下来...

## [xgboost使用调参][xgboost 1] ##

github：https://github.com/dmlc/xgboost 论文参考：http://www.kaggle.com/blobs/download/forum-message-atta...

*  [![q383700092][]][q383700092 1]
 *  [q383700092][q383700092 1]
 *  2016年12月20日 15:14
 *  7171

## [xgboost 调参经验][xgboost 2] ##

首先 parameters 设置如下：params = \{ 'booster':'gbtree', 'objective':'binary:logist...

*  [![u010414589][]][u010414589 1]
 *  [u010414589][u010414589 1]
 *  2016年04月14日 21:03
 *  22561

## [xgboost入门与实战（实战调参篇）][xgboost 3] ##

本文转载自：http://blog.csdn.net/sb19931201/article/details/52577592xgboost入门与实战（实战调参篇）前言前...

*  [![chivalrousli][]][chivalrousli 1]
 *  [chivalrousli][chivalrousli 1]
 *  2017年01月13日 15:55
 *  1291

![0f000cd5Zq8ETRbnD9KLY6.jpg][] ![Image 1][]

## 人人都能看懂的 AI 入门课 ##

本课程将讲述人工智能的现状、应用场景和入门方法，并通过运用 TensorFlow，使得受众能清晰了解人工智能的运作方式。

## [XGBoost：参数解释][XGBoost] ##

XGBoost参数在运行XGboost之前，必须设置三种类型成熟：general parameters，booster parameters和task parameters：General para...

*  [![zc02051126][]][zc02051126 1]
 *  [zc02051126][zc02051126 1]
 *  2015年07月01日 17:06
 *  48860

## [XGBoost-Python完全调参指南-介绍篇][XGBoost-Python_- 1] ##

在analytics vidhya上看到一篇,写的很好。因此打算翻译一下这篇文章，也让自己有更深的印象。具体内容主要翻译文章的关键意思。原文见：http://www.analyticsvidh...

*  [![wzmsltw][]][wzmsltw 1]
 *  [wzmsltw][wzmsltw 1]
 *  2016年03月26日 19:32
 *  4043

## [xgboost 调参经验][xgboost 4] ##

转自： http://blog.csdn.net/u010414589/article/details/51153310本文介绍三部分内容： - xgboost 基本方法和默认参数 ...

*  [![xuxiatian][]][xuxiatian 1]
 *  [xuxiatian][xuxiatian 1]
 *  2017年01月09日 13:28
 *  1401

## [xgboost调参][xgboost 5] ##

Xgboost调参英文版参考：https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboos...

*  [![u014265088][]][u014265088 1]
 *  [u014265088][u014265088 1]
 *  2016年11月30日 19:11
 *  357

## [XGBoost简易调参指南][XGBoost 1] ##

本文为kaggle上一位选手分享的xgboost调参经验的翻译。方便对xgboost模型参数的快速调试。原文：https://www.kaggle.com/c/bnp-paribas-cardif...

*  [![wzmsltw][]][wzmsltw 1]
 *  [wzmsltw][wzmsltw 1]
 *  2016年10月01日 20:03
 *  3217

## [XGBoost参数调优完全指南（附Python代码）][XGBoost_Python] ##

XGBoost参数调优完全指南（附Python代码） 原文地址：Complete Guide to Parameter Tuning in XGBoost (with codes in Pytho...

*  [![u010657489][]][MOLLY]
 *  [u010657489][MOLLY]
 *  2016年07月19日 09:32
 *  10594

## [机器学习sklearn参数解释（GDBT+XGBOOST）][sklearn_GDBT_XGBOOST] ##

机器学习总结-sklearn参数解释实验数据集选取：1分类数据选取 load\_iris 鸢尾花数据集from sklearn.datasets import load\_irisdata ...

*  [![wuxiaosi808][]][wuxiaosi808 1]
 *  [wuxiaosi808][wuxiaosi808 1]
 *  2017年09月20日 08:58
 *  429

## [xgboost入门与实战（实战调参篇） 标签： xgboostpythonkaggle机器学习][xgboost_ _ xgboostpythonkaggle] ##

xgboost入门与实战（实战调参篇）原文地址前言前面几篇博文都在学习原理知识，是时候上数据上模型跑一跑了。本文用的数据来自kaggle，相信搞机器学习的同学们都知道它，kaggl...

*  [![u011089523][]][u011089523 1]
 *  [u011089523][u011089523 1]
 *  2017年05月30日 21:47
 *  1797

## [XGboost 调参指南+CV调参][XGboost _CV] ##

参考网站：http://blog.csdn.net/cyh\_24/article/details/50593400重要参数： scale\_pos\_weight含义：二分类中正负样本比例失衡，需要设...

*  [![u012969412][]][u012969412 1]
 *  [u012969412][u012969412 1]
 *  2017年05月07日 15:11
 *  1080

## [XGBoost：在Python中使用XGBoost][XGBoost_Python_XGBoost] ##

在Python中使用XGBoost下面将介绍XGBoost的Python模块，内容如下： \* 编译及导入Python模块 \* 数据接口 \* 参数设置 \* 训练模型l \* 提前终止程序 \* ...

*  [![zc02051126][]][zc02051126 1]
 *  [zc02051126][zc02051126 1]
 *  2015年07月06日 11:27
 *  65695

## [XGBoost-Python完全调参指南-参数解释篇][XGBoost-Python_- 2] ##

在analytics vidhya上看到一篇Python>,写的很好。因此打算翻译一下这篇文章，也让自己有更深的印象。具体内容主要翻译文章的关键意思。原文见：http://www....

*  [![chuanda112233][]][chuanda112233 1]
 *  [chuanda112233][chuanda112233 1]
 *  2016年07月14日 21:53
 *  3500

## [windows下Python机器学习依赖库安装——numpy、scipy、sklearn、xgboost、theano等][windows_Python_numpy_scipy_sklearn_xgboost_theano] ##

windows下python依赖包安装，写给新手朋友，少一点弯路！

*  [![a132582][]][a132582 1]
 *  [a132582][a132582 1]
 *  2017年04月22日 00:26
 *  3021

## [Sklearn,xgboost机器学习多分类实验][Sklearn_xgboost] ##

多分类是一个机器学习的常见任务，本文将基于复旦大学中文文本分类语料，使用sklearn和xgboost来进行多分类实验。...

*  [![jaylenzhang][]][jaylenzhang 1]
 *  [jaylenzhang][jaylenzhang 1]
 *  2017年03月08日 21:20
 *  2225

## [XGBOOST参数说明][XGBOOST] ##

XGBoost参数XGBoost的参数可以分为三种类型：通用参数、booster参数以及学习目标参数General parameters：参数控制在提升（boosting）过程...

*  [![wang1127248268][]][wang1127248268 1]
 *  [wang1127248268][wang1127248268 1]
 *  2016年12月11日 22:13
 *  1094

## [XGBoost：在Python中使用XGBoost][XGBoost_Python_XGBoost 1] ##

在Python中使用XGBoost下面将介绍XGBoost的Python模块，内容如下：\* 编译及导入Python模块\* 数据接口\* 参数设置\* 训练模型l\* 提前终止程序\* 预测...

*  [![levy\_cui][levy_cui]][levy_cui_levy_cui]
 *  [levy\_cui][levy_cui_levy_cui]
 *  2017年03月08日 17:30
 *  695

## [sklearn 样本均衡 class\_weight='balanced'的实现方法][sklearn _ class_weight_balanced] ##

想了解这个的原因，是因为Gbdt不能设置这个参数，但是GBDT是最常用的分类器了...查了一会儿还想了下原理，想知道原理上为啥gbdt不能设置class\_weight... 然后发现虽然sklea...

*  [![u011026968][]][u011026968 1]
 *  [u011026968][u011026968 1]
 *  2017年04月26日 01:13
 *  2640

## [iphone分辨率中的scale参数][iphone_scale] ##

A UIScreen object contains the bounding rectangle of the device’s entire screen. When setting up you...

*  [![fanyong245758753][]][fanyong245758753 1]
 *  [fanyong245758753][fanyong245758753 1]
 *  2016年12月19日 15:43
 *  270

## [xgboost参数调整][xgboost 6] ##

转自：https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-p...

*  [![webzjuyujun][]][webzjuyujun 1]
 *  [webzjuyujun][webzjuyujun 1]
 *  2016年08月04日 10:22
 *  5372

## [机器学习算法总结--GBDT][--GBDT] ##

参考如下机器学习（四）— 从gbdt到xgboost机器学习常见算法个人总结（面试用）xgboost入门与实战（原理篇）简介 GBDT是一个基于迭代累加的决策树算法，它通过构造一组弱的学习...

*  [![lc013][]][lc013 1]
 *  [lc013][lc013 1]
 *  2017年02月23日 17:09
 *  3830

## [记一次失败的kaggle比赛（3）：失败在什么地方，贪心筛选特征、交叉验证、blending][kaggle_3_blending] ##

今天这个比赛结束了，结果可以看：https://www.kaggle.com/c/santander-customer-satisfaction/leaderboardpublic结果：p...

*  [![mmc2015][]][mmc2015 1]
 *  [mmc2015][mmc2015 1]
 *  2016年05月03日 09:55
 *  8561

## [xgboost原理][xgboost 7] ##

文章内容可能会相对比较多，读者可以点击上方目录，直接阅读自己感兴趣的章节。1.序　　距离上一次编辑将近10个月，幸得爱可可老师（微博）推荐，访问量陡增。最近毕业论文与xgboost相关，于是重新写一下...

*  [![a819825294][]][a819825294 1]
 *  [a819825294][a819825294 1]
 *  2016年04月21日 10:15
 *  86227

## [xgboost特征选择][xgboost 8] ##

Xgboost在各大数据挖掘比赛中是一个大杀器，往往可以取得比其他各种机器学习算法更好的效果。数据预处理，特征工程，调参对Xgboost的效果有着非常重要的影响。这里介绍一下运用xgboost的特征选...

*  [![qq\_34264472][qq_34264472]][qq_34264472_qq_34264472]
 *  [qq\_34264472][qq_34264472_qq_34264472]
 *  2016年11月27日 11:22
 *  10632

## [Kaggle 神器 xgboost][Kaggle _ xgboost] ##

在 Kaggle 的很多比赛中，我们可以看到很多 winner 喜欢用 xgboost，而且获得非常好的表现，今天就来看看 xgboost 到底是什么以及如何应用。本文结构：什么是 xgboost？...

*  [![aliceyangxi1987][]][aliceyangxi1987 1]
 *  [aliceyangxi1987][aliceyangxi1987 1]
 *  2017年06月09日 20:10
 *  3549

## [xgboost的使用简析][xgboost 9] ##

前言——记得在阿里mllib实习的时候，大家都是用mllib下的GBDT来train model的。但由于mllib不是开源的，所以在公司外是不能够使用。后来参加kaggle比赛的时候，认识到一个GD...

*  [![John159151][]][John159151 1]
 *  [John159151][John159151 1]
 *  2015年05月07日 02:43
 *  19346

## [Titanic Xgboost版代码分析][Titanic Xgboost] ##

代码来源 关于xbgboost的调参可参考这篇文章 或官网 流程如下： 1. 读取测试集，训练集 2. 根据相关性手动选取特征 3. 选取测试集 4. 填充缺失值 5. 处理...

*  [![qq\_16234613][qq_16234613]][qq_16234613_qq_16234613]
 *  [qq\_16234613][qq_16234613_qq_16234613]
 *  2017年03月21日 19:27
 *  798

## [基于Python的Xgboost模型实现][Python_Xgboost] ##

\# -\*- coding: utf-8 -\*-"""Created on Mon Nov 28 13:22:08 2016@author: ym"""\#\# part1: 模型训练i...

*  [![u010035907][]][u010035907 1]
 *  [u010035907][u010035907 1]
 *  2016年12月01日 09:43
 *  4229

## [在Python中使用XGBoost][Python_XGBoost] ##

转自：http://blog.csdn.net/zc02051126/article/details/46771793下面将介绍XGBoost的Python模块，内容如下： \* 编译及导入Py...

*  [![xuxiatian][]][xuxiatian 1]
 *  [xuxiatian][xuxiatian 1]
 *  2017年01月08日 08:07
 *  1146

## [win10（64位）python xgboost 详细安装教程][win10_64_python xgboost] ##

win10（64位）python xgboost 安装教程在看一些数据挖掘比赛的经验分享，看到很多都用到了xgboost并取得不错效果,于是down了大神们的解决方案，结合他们的代码学习数据挖掘比赛...

*  [![sb19931201][]][sb19931201 1]
 *  [sb19931201][sb19931201 1]
 *  2016年08月18日 00:10
 *  5575

[![zip.svg][]][zip.svg 1]

## [Delphi7高级应用开发随书源码][zip.svg 1] ##

*  2003年04月30日 00:00
 *  676KB
 *  [下载][zip.svg 1]

## [xgboost在Python的安装][xgboost_Python] ##

xgboost在Python的安装第一步：在github下载xgboost，地址：github，xgboost第二步，编译生成xgboost\_wrapper.dll（用于python）...

*  [![songying2012][]][songying2012 1]
 *  [songying2012][songying2012 1]
 *  2015年12月23日 09:21
 *  6502

## [python 中 xgboost 安装][python _ xgboost] ##

针对 下载并利用VS2013编译xgboost后安装失败，进行其他方法安装。下载安装 MinGW-64: http://sourceforge.net/projects/mingw-w64/...

*  [![onepiecehuiyu][]][onepiecehuiyu 1]
 *  [onepiecehuiyu][onepiecehuiyu 1]
 *  2016年05月12日 21:03
 *  5085

## [windows系统下安装python xgboost][windows_python xgboost] ##

1.python 64位，需要提前安装numpy和scipy包。2.下载安装Windows下的gcc编译器，选择64位，一定要用tdm-gcc而不是mingw，切记。下载链接http://sour...

*  [![yscyh][]][yscyh 1]
 *  [yscyh][yscyh 1]
 *  2017年06月01日 18:40
 *  672

## [XGBoost实战与调优][XGBoost 2] ##

首先，python和Anaconda都没有自带xgboost。windows下安装xgboost非常方便。在前面的文章中，提供了下载地址和详细的安装步骤。 你可以在python中，输入i...

*  [![weixin\_38569817][weixin_38569817]][weixin_38569817_weixin_38569817]
 *  [weixin\_38569817][weixin_38569817_weixin_38569817]
 *  2017年07月29日 21:13
 *  347

## [Xgboost的参数解释][Xgboost] ##

XGBoost 参数说明

*  [![u013963380][]][u013963380 1]
 *  [u013963380][u013963380 1]
 *  2017年05月25日 17:19
 *  820

## [xgboost 参数 scale\_pos\_weight 详解][xgboost _ scale_pos_weight] ##

从官网解说、源码和实验三个角度来解说 xgboost 参数： scale\_pos\_weight

*  [![h4565445654][]][h4565445654 1]
 *  [h4565445654][h4565445654 1]
 *  2017年05月16日 12:42
 *  2639

## [xgboost入门与实战（原理篇）][xgboost 10] ##

xgboost入门与实战（原理篇）前言： xgboost是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包，比常见的工具包快10倍以上。在数据科学方面...

*  [![sb19931201][]][sb19931201 1]
 *  [sb19931201][sb19931201 1]
 *  2016年09月16日 20:26
 *  44220

## [XGBoost-Python完全调参指南-参数解释篇][XGBoost-Python_- 3] ##

转自：http://blog.csdn.net/wzmsltw/article/details/50994481在analytics vidhya上看到一篇Python>,写的很好。因此打算翻译...

*  [![xuxiatian][]][xuxiatian 1]
 *  [xuxiatian][xuxiatian 1]
 *  2017年01月06日 11:15
 *  1084

## [xgboost原理及应用][xgboost 11] ##

1.背景关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT地址和xgboost导读和实战 地址，希望对xgboost原理进行深入理解。2.xgbo...

*  [![wuzhongdehua1][]][wuzhongdehua1 1]
 *  [wuzhongdehua1][wuzhongdehua1 1]
 *  2016年09月09日 16:29
 *  1365

## [xgboost 参数][xgboost 12] ##

XGBoost的参数XGBoost的作者把所有的参数分成了三类：1、通用参数：宏观函数控制。2、Booster参数：控制每一步的booster(tree/regression)。3、学习目标...

*  [![vfgbv][]][vfgbv 1]
 *  [vfgbv][vfgbv 1]
 *  2017年05月31日 14:29
 *  222

## [XGBoost参数说明][XGBoost 3] ##

XGBoost Parameters来源：(https://github.com/dmlc/xgboost/blob/master/doc/parameter.md) Before running ...

*  [![songying2012][]][songying2012 1]
 *  [songying2012][songying2012 1]
 *  2015年12月25日 15:35
 *  2917

## [XGBoost参数调优][XGBoost 4] ##

摘要：转载：http://blog.csdn.net/han\_xiaoyang/article/details/526653961. 简介如果你的预测模型表现得有些不尽如人意，那就用XG...

*  [![hhy518518][]][hhy518518 1]
 *  [hhy518518][hhy518518 1]
 *  2017年02月12日 17:52
 *  1129

## [xgboost参数详解][xgboost 13] ##

XGBoost参数包括：general parameters，booster参数booster parameters和目标参数task parameters：General parameters：参数...

*  [![u013714645][]][u013714645 1]
 *  [u013714645][u013714645 1]
 *  2017年08月14日 15:11
 *  112

## [XGBoost处理缺失值(Null)问题][XGBoost_Null] ##

对于数据缺失的问题，XGBoost设计了很好的默认机制处理这个问题。以下摘自陈天奇在GitHub讨论组中的讨论。 You can directly feed data in as spars...

*  [![VitoDi][]][VitoDi 1]
 *  [VitoDi][VitoDi 1]
 *  2017年03月02日 16:36
 *  1017

## [一步一步理解GB、GBDT、xgboost][GB_GBDT_xgboost] ##

GBDT和xgboost在竞赛和工业界使用都非常频繁，能有效的应用到分类、回归、排序问题，虽然使用起来不难，但是要能完整的理解还是有一点麻烦的。本文尝试一步一步梳理GB、GBDT、xgboost，它们...

*  [![shenxiaoming77][]][shenxiaoming77 1]
 *  [shenxiaoming77][shenxiaoming77 1]
 *  2016年05月31日 09:08
 *  19209

## [Xgboost筛选特征重要性][Xgboost 1] ##

import pandas as pdimport xgboost as xgbimport operatorfrom matplotlib import pylab as pltdef cea...

*  [![q383700092][]][q383700092 1]
 *  [q383700092][q383700092 1]
 *  2016年12月16日 21:00
 *  6347

## [机器学习中的数据不平衡解决方案大全][Link 7] ##

在机器学习任务中，我们经常会遇到这种困扰：数据不平衡问题。 数据不平衡问题主要存在于有监督机器学习任务中。当遇到不平衡数据时，以总体分类准确率为学习目标的传统分类算法会过多地关注多数类，从...

*  [![u013709270][]][u013709270 1]
 *  [u013709270][u013709270 1]
 *  2017年06月09日 19:37
 *  19337

## [xgboost笔记][xgboost 14] ##

已经在公司用上了xgboost，但是知识作为黑盒在用。有必要深入了解下？以下分为几个部分进行总结：基础原理，使用方法，最佳实践。1. 基础原理了解xgboost的工作原理，为什么运行快，效果还好。1....

*  [![aiyaya1689][]][aiyaya1689 1]
 *  [aiyaya1689][aiyaya1689 1]
 *  2017年01月13日 00:06
 *  569

## [python xgboost算法实践][python xgboost] ##

xgboost算法实践

*  [![yanyanyufei96][]][yanyanyufei96 1]
 *  [yanyanyufei96][yanyanyufei96 1]
 *  2017年04月21日 20:29
 *  1077

## [XGBoost解决多分类问题][XGBoost 5] ##

XGBoost解决多分类问题

*  [![Leo\_Xu06][Leo_Xu06]][Leo_Xu06_Leo_Xu06]
 *  [Leo\_Xu06][Leo_Xu06_Leo_Xu06]
 *  2016年09月03日 19:25
 *  6499

## [XGBoost参数调优完全指南（附Python代码）][XGBoost_Python 1] ##

译注：文内提供的代码和运行结果有一定差异，可以从这里下载完整代码对照参考。另外，我自己跟着教程做的时候，发现我的库无法解析字符串类型的特征，所以只用其中一部分特征做的，具体数值跟文章中不一样，反而可以...

*  [![u010035907][]][u010035907 1]
 *  [u010035907][u010035907 1]
 *  2016年11月05日 15:57
 *  797

## [XGBoost参数调优完全指南][XGBoost 6] ##

1. 简介如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。 构造一个...

*  [![fly\_time2012][fly_time2012]][fly_time2012_fly_time2012]
 *  [fly\_time2012][fly_time2012_fly_time2012]
 *  2017年04月25日 20:43
 *  446

## [XGBoost参数调优][XGBoost 7] ##

1、XGBoost的优势XGBoost(eXtreme Gradient Boosting)是Gradient Boosting算法的一个优化的版本。XGBoost算法可以给预测模型带来能力的提...

*  [![xiaocong1990][]][xiaocong1990 1]
 *  [xiaocong1990][xiaocong1990 1]
 *  2017年02月15日 12:37
 *  668

## [64位win10下安装xgboost python包的教程][64_win10_xgboost python] ##

64位win10下安装xgboost python包的教程xgboost的 Python包在windows环境下使用MicrosoftVisual Studio安装的功能被陈天奇大神删掉了，如下是c...

*  [![zyghs][]][zyghs 1]
 *  [zyghs][zyghs 1]
 *  2016年03月15日 16:38
 *  9207

## [重点：机器学习总结之各算法常用包和函数][Link 8] ##

基本操作常用函数及包预测函数：predict() type=”prob”判别该量度的昆虫归类为A、B和C的概率；type=”response”：判别该量度的昆虫的类别； 预测分类的概率的函数pr...

*  [![qq\_16365849][qq_16365849]][qq_16365849_qq_16365849]
 *  [qq\_16365849][qq_16365849_qq_16365849]
 *  2016年02月09日 13:43
 *  13528

## [XGBoost原理与应用][XGBoost 8] ##

基本构成boosted tree作为有监督学习算法有几个重要部分：模型、参数、目标函数、优化算法 模型 模型指给定输入x如何去预测输出y 参数 参数指我们需要学习的东西，在线性模型中，参数指我...

*  [![q383700092][]][q383700092 1]
 *  [q383700092][q383700092 1]
 *  2017年03月09日 10:17
 *  1793

## [Gradient Tree Boosting (GBM, GBRT, GBDT, MART)算法解析和基于XGBoost/Scikit-learn的实现][Gradient Tree Boosting _GBM_ GBRT_ GBDT_ MART_XGBoost_Scikit-learn] ##

1. 概要Gradient Tree Boosting (别名 GBM, GBRT, GBDT, MART)是一类很常用的集成学习算法，在KDD Cup, Kaggle组织的很多数据挖掘竞赛中多次表...

*  [![yangliuy][]][yangliuy 1]
 *  [yangliuy][yangliuy 1]
 *  2017年03月16日 12:57
 *  2857

## [机器学习系列(11)\_Python中Gradient Boosting Machine(GBM）调参方法详解][11_Python_Gradient Boosting Machine_GBM] ##

这篇文章详细地介绍了GBM模型。我们首先了解了何为boosting，然后详细介绍了各种参数。 这些参数可以被分为3类：树参数，boosting参数，和其他影响模型的参数。最后我们提到了用GBM解决问题...

*  [![yaoqiang2011][]][yaoqiang2011 1]
 *  [yaoqiang2011][yaoqiang2011 1]
 *  2016年09月25日 17:33
 *  28909

## [机器学习竞赛技巧][Link 9] ##

Kaggle 是目前最大的 Data Scientist 聚集地。很多公司会拿出自家的数据并提供奖金，在 Kaggle 上组织数据竞赛。我最近完成了第一次比赛，在 2125 个参赛队伍中排名第 9...

*  [![wtq1993][]][wtq1993 1]
 *  [wtq1993][wtq1993 1]
 *  2016年05月15日 20:56
 *  9160

## [python之sklearn][python_sklearn] ##

Scikit Learn: 在python中机器学习Warning警告：有些没能理解的句子，我以自己的理解意译。翻译自：Scikit Learn:Machine Lea...

*  [![liujiandu101][]][liujiandu101 1]
 *  [liujiandu101][liujiandu101 1]
 *  2016年06月13日 09:27
 *  6157

## [机器学习（四）--- 从gbdt到xgboost][--- _gbdt_xgboost] ##

gbdt（又称Gradient Boost Decision Tree），是一种迭代的决策树算法，该算法由多个决策树组成。它最早见于yahoo，后被广泛应用在搜索排序、点击率预估上。xgboost是...

*  [![china1000][]][china1000 1]
 *  [china1000][china1000 1]
 *  2016年04月09日 19:34
 *  17226

## [2017.07.31回顾 LabelEncoder xgb.cv][2017.07.31_ LabelEncoder xgb.cv] ##

1、花了少量时间补充上周五的小结2、然后开始继续抄作业kernel去除outliers的方法是用的常数，-0.4和0.4，为什么这样设计，并没有给出说明，这个值是介于2 delta和3...

*  [![strwolf][]][strwolf 1]
 *  [strwolf][strwolf 1]
 *  2017年07月31日 20:25
 *  376

## [【R机器学习笔记】XGBoost——XGBboost包][R_XGBoost_XGBboost] ##

转载“素质云博客“，自己做了些修改，以及自己的一些见解一 XGBoost来历二 优势性价比实际案例1 如何实现2 one-hot encode 独热编码独有的数据结构三 XGBoost用...

*  [![langyichao1][]][langyichao1 1]
 *  [langyichao1][langyichao1 1]
 *  2017年04月15日 10:52
 *  669

## [XGBoost-Python完全调参指南-参数解释篇][XGBoost-Python_-] ##

关于XGBoost的参数，发现已经有比较完善的翻译了。故本文转载其内容，并作了一些修改与拓展。原文链接见：http://blog.csdn.net/zc02051126/article/detail...

*  [![wzmsltw][]][wzmsltw 1]
 *  [wzmsltw][wzmsltw 1]
 *  2016年03月27日 22:28
 *  38102

## [机器学习系列(11)\_Python中Gradient Boosting Machine(GBM）调参方法详解][11_Python_Gradient Boosting Machine_GBM] ##

*  [![yaoqiang2011][]][yaoqiang2011 1]
 *  [yaoqiang2011][yaoqiang2011 1]
 *  2016年09月25日 17:33
 *  28909

## [机器学习系列(12)\_XGBoost参数调优完全指南（附Python代码）][12_XGBoost_Python] ##

原文地址：Complete Guide to Parameter Tuning in XGBoost by Aarshay Jain 原文翻译与校对：@MOLLY && 寒小阳 (hanxiaoya...

*  [![u010480899][]][u010480899 1]
 *  [u010480899][u010480899 1]
 *  2016年12月24日 12:38
 *  770

## [XGBoost中参数调优的完整指南（含Python-3.X代码）][XGBoost_Python-3.X] ##

本文实现了端到端的基于XGBoost模型的参数调优。 我们首先讨论为什么XGBoost比GBM具有更好的性能，然后详细讨论了所涉及的各种参数。 我们还定义了一个通用函数，可以重新用于其他模型。...

*  [![kicilove][]][kicilove 1]
 *  [kicilove][kicilove 1]
 *  2017年11月01日 13:32
 *  1076

[![zip.svg][]][zip.svg 2]

## [机器学习实战（包括中文版教材，书中python代码及所需数据）][zip.svg 2] ##

*  2016年02月29日 21:52
 *  46.85MB
 *  [下载][zip.svg 2]

## [机器学习/逻辑回归（logistic regression）/--附python代码][logistic regression_--_python] ##

本文为吴恩达《机器学习》课程的读书笔记，并用python实现。逻辑回归（logistic regression）虽然叫回归，但他做的事实际上是分类。这里我们讨论二元分类，即只分两类，y属于\{0,1...

*  [![helen1313][]][helen1313 1]
 *  [helen1313][helen1313 1]
 *  2016年10月27日 15:27
 *  1097

## [机器学习线性回归（linear regression）/梯度下降法（gradient descent)/最大似然函数/--附python代码][linear regression_gradient descent_--_python] ##

线性回归是一个比较简单的算法，这里主要借线性回归，讲一下梯度下降法和最大似然函数，后面逻辑回归也会用到。...

*  [![helen1313][]][helen1313 1]
 *  [helen1313][helen1313 1]
 *  2016年10月27日 13:57
 *  1251

## [【机器学习】Python sklearn包的使用示例以及参数调优示例][Python sklearn] ##

\# coding=utf-8\# !/usr/bin/env python'''【说明】1.当前sklearn版本0.182.sklearn自带的鸢尾花数据集样例：（1）样本特征矩阵（类型：...

*  [![wy\_0928][wy_0928]][wy_0928_wy_0928]
 *  [wy\_0928][wy_0928_wy_0928]
 *  2017年03月17日 15:30
 *  4226

## [机器学习实战 第二章KNN（1）python代码及注释][_KNN_1_python] ##

\#coding=utf8\#KNN.pyfrom numpy import \*import operatordef createDataSet():group=array(\[\[1.0,1....

*  [![fenfenmiao][]][fenfenmiao 1]
 *  [fenfenmiao][fenfenmiao 1]
 *  2016年08月09日 19:26
 *  2231

## [机器学习完整过程案例分布解析，python代码解析][python] ##

所谓学习问题，是指观察由n个样本组成的集合，并根据这些数据来预测未知数据的性质。学习任务（一个二分类问题）：区分一个普通的互联网检索Query是否具有某个垂直领域的意图。假设现在有一个...

*  [![yangxudong][]][yangxudong 1]
 *  [yangxudong][yangxudong 1]
 *  2014年05月24日 21:34
 *  2682

## [机器学习 in action 分类器0 python代码解析][in action _0 python] ##

KNN （K最近邻接算法）python 语言下的简单实现Machine Learning in Action 给出第一个小例子---最简单的分类器 只涉及最简单的向量知识，主要是python语言...

*  [![mashuaihh][]][mashuaihh 1]
 *  [mashuaihh][mashuaihh 1]
 *  2013年09月16日 20:05
 *  1570

## [机器学习实战\_初识决策树算法\_理解其python代码（一）][python 1] ##

（一）计算给定数据集的香农熵（个人理解为计算给定信息集纯度的一种数学计算指标）：from math import logdef calcShannonEnt(dataSet):\#calculata ...

*  [![qq\_36396104][qq_36396104]][qq_36396104_qq_36396104]
 *  [qq\_36396104][qq_36396104_qq_36396104]
 *  2017年08月08日 14:42
 *  125

## [机器学习之决策树（Decision Tree）及其Python代码实现][Decision Tree_Python] ##

决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。...

*  [![sinat\_35512245][sinat_35512245]][sinat_35512245_sinat_35512245]
 *  [sinat\_35512245][sinat_35512245_sinat_35512245]
 *  2017年02月10日 17:55
 *  4474

## [三十八、100行python代码实现机器学习自动分类][100_python] ##

现在朋友圈、公众号、微博信息应接不暇，以微信公众号举例，看技术极客是怎么自动筛出自己想看的文章的，100行机器学习代码就能自动帮你归好类，要想找出想看的和不想看的，你再也不用刷朋友圈了请尊重原创，...

*  [![jiangjingxuan][]][jiangjingxuan 1]
 *  [jiangjingxuan][jiangjingxuan 1]
 *  2017年01月25日 11:56
 *  1659

## [机器学习----K-近邻算法（Python代码详解）][----K-_Python] ##

本博文的内容主要是我在自学《Machine Learning in Action》的中文版《机器学习实战》的总结。K-近邻算法一、算法概述K-近邻算法就是采用测量不同特征值之间的距离进行分类。 距离...

*  [![Ichimaru\_Gin\_][Ichimaru_Gin]][Ichimaru_Gin_Ichimaru_Gin]
 *  [Ichimaru\_Gin\_][Ichimaru_Gin_Ichimaru_Gin]
 *  2016年10月10日 19:56
 *  226

## [机器学习实战\_初识kNN算法\_理解其python代码][kNN_python] ##

以下为我搜索后结合自己的想法编写，如有侵权，可联系我核实后删除（恕我小白一只~） python基础： numpy： 1、shape函数是numpy.core.fromnumeri...

*  [![qq\_36396104][qq_36396104]][qq_36396104_qq_36396104]
 *  [qq\_36396104][qq_36396104_qq_36396104]
 *  2017年07月20日 12:16
 *  117

## [机器学习实战\_初识决策树（ID3）算法\_理解其python代码（二）][ID3_python] ##

python递归构建决策树：Python 基础： count()方法： Python count() 方法用于统计字符串里某个字符出现的次数。可选参数为在字符串搜索的开始与结束位置。 示例：>>...

*  [![qq\_36396104][qq_36396104]][qq_36396104_qq_36396104]
 *  [qq\_36396104][qq_36396104_qq_36396104]
 *  2017年08月08日 22:12
 *  117

## [机器学习笔记（一）朴素贝叶斯的Python代码实现][Python] ##

上研究生的时候，一心想读生物信息学的方向，由此也选修了生物数学，计算生物学等相关课程。给我印象最深的是给我们计算生物学的主讲老师，他北大数学系毕业，后来做起了生物和数学的交叉学科研究。课上讲的一些算法...

*  [![htmlgood][]][htmlgood 1]
 *  [htmlgood][htmlgood 1]
 *  2016年05月19日 23:00
 *  565

## [XGBoost-Python完全调参指南-参数解释篇][XGBoost-Python_- 4] ##

本文转自XGBoost-Python完全调参指南-参数解释篇。对XGBoost有需要小伙伴可以参看。并在此基础上，添加了一些内容。在analytics vidhya上看到一篇《Complete Gu...

*  [![g11d111][]][g11d111 1]
 *  [g11d111][g11d111 1]
 *  2017年06月17日 18:28
 *  164

## [机器学习 - xgboost参数详解][- xgboost] ##

原文见：http://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes...

*  [![ZK\_J1994][ZK_J1994]][ZK_J1994_ZK_J1994]
 *  [ZK\_J1994][ZK_J1994_ZK_J1994]
 *  2017年05月08日 17:11
 *  388

## [机器学习可视化：模型评估和参数调优][Link 10] ##

机器学习可视化：模型评估和参数调优

*  [![x\_r\_su][x_r_su]][x_r_su_x_r_su]
 *  [x\_r\_su][x_r_su_x_r_su]
 *  2016年11月05日 16:49
 *  1028

## [Spark2.0机器学习系列之5：GBDT（梯度提升决策树）、GBDT与随机森林差异、参数调试及Scikit代码分析][Spark2.0_5_GBDT_GBDT_Scikit] ##

GBDT概念 与随机森林的差异 Spark2.0中参数调试

*  [![qq\_34531825][qq_34531825]][qq_34531825_qq_34531825]
 *  [qq\_34531825][qq_34531825_qq_34531825]
 *  2016年08月30日 09:04
 *  3843

## [解析机器中加减法对于二进制补码的运用（附python代码）][python 2] ##

机器中的加减法并不像我们实际生活中一样，带有正负号，比较容易运算，机器中只有0和1，那就需要一种算法来实现加减法运算。首先，我们要明确目标是要进行带符号的数字（signed）进行加减法运算。由于没...

*  [![Wind\_white][Wind_white]][Wind_white_Wind_white]
 *  [Wind\_white][Wind_white_Wind_white]
 *  2016年03月28日 20:57
 *  1763

[![pdf.svg][]][pdf.svg 1]

## [CCTC 2016 聚效广告刘忆智：超越MLLib: 通过XGBoost/MXNet 看Spark上的前沿（深度）机器学习][pdf.svg 1] ##

*  2016年05月16日 18:37
 *  1.21MB
 *  [下载][pdf.svg 1]

## [机器学习系列(9)\_机器学习算法一览（附Python和R代码）][9_Python_R] ##

转载自：http://blog.csdn.net/longxinchen\_ml/article/details/51192086–谷歌的无人车和机器人得到了很多关注，但我们真正的未来却在于...

*  [![qq\_26898461][qq_26898461]][qq_26898461_qq_26898461]
 *  [qq\_26898461][qq_26898461_qq_26898461]
 *  2016年04月20日 15:33
 *  1752

## [机器学习系列(9)\_机器学习算法一览（附Python和R代码）][9_Python_R 1] ##

写这篇文章的目的，就是希望它可以让有志于从事数据科学和机器学习的诸位在学习算法的路上少走些路。我会在文章中举例一些机器学习的问题，你们也可以在思考解决这些问题的过程中得到启发。我也会写下对于各种机器学...

*  [![longxinchen\_ml][longxinchen_ml]][longxinchen_ml_longxinchen_ml]
 *  [longxinchen\_ml][longxinchen_ml_longxinchen_ml]
 *  2016年04月19日 16:58
 *  25789

## [XGBoost-Python完全调参指南-介绍篇][XGBoost-Python_- 5] ##

XGBoost-Python完全调参指南-介绍篇 在analytics vidhya上看到一篇,写的很好。因此打算翻译一下这篇文章，也让自己有更深的印象。具体内容主要翻译文章的关键意思。原...

*  [![Jinlong\_Xu][Jinlong_Xu]][Jinlong_Xu_Jinlong_Xu]
 *  [Jinlong\_Xu][Jinlong_Xu_Jinlong_Xu]
 *  2017年03月31日 19:43
 *  252

[![zip.svg][]][zip.svg 3]

## [《Python大战机器学习》代码][zip.svg 3] ##

*  2017年08月21日 21:06
 *  611KB
 *  [下载][zip.svg 3]

## [Spark2.0机器学习系列之12： 线性回归及L1、L2正则化区别与稀疏解][Spark2.0_12_ _L1_L2] ##

我的博客中参考了大量的文章或者别的作者的博客，有时候疏忽了并未一一标注，本着分享交流知识的目的，如果侵犯您的权利，这并非我的本意，如果您提出来，我会及时改正。概述 线性回归拟合一个因变量与一...

*  [![qq\_34531825][qq_34531825]][qq_34531825_qq_34531825]
 *  [qq\_34531825][qq_34531825_qq_34531825]
 *  2016年09月28日 15:38
 *  3621

## [机器学习算法一览（附python和R代码）][python_R] ##

机器学习算法一览（附python和R代码）来源：数据观时间：2016-04-19 15:20:43 作者：大数据文摘 　　“谷歌的无人车和机器人得到了很多关注，但我们真正的未来却在...

*  [![starzhou][]][starzhou 1]
 *  [starzhou][starzhou 1]
 *  2016年04月20日 11:19
 *  855

## [机器学习实践系列之12 - OpenCV之三维重建][12 - OpenCV] ##

又一次提到了 三维重建，许是三维重建的应用面太广，从 PrimSense 到 Kinnect 再到RealSense，还有一堆国内的山寨机不表。 从 Kinnect Fusion 到 P...

*  [![linolzhang][]][linolzhang 1]
 *  [linolzhang][linolzhang 1]
 *  2017年02月17日 23:05
 *  1043

## [10 种机器学习算法的要点（附 Python 和 R 代码）][10 _ Python _ R] ##

前言谷歌董事长施密特曾说过：虽然谷歌的无人驾驶汽车和机器人受到了许多媒体关注，但是这家公司真正的未来在于机器学习，一种让计算机更聪明、更个性化的技术。也许我们生活在人类历史上最...

*  [![fishmai][]][fishmai 1]
 *  [fishmai][fishmai 1]
 *  2016年09月12日 17:34
 *  824

## [机器学习算法的要点（附 Python 和 R 代码）][Python _ R] ##

*  [![a6225301][]][a6225301 1]
 *  [a6225301][a6225301 1]
 *  2016年01月07日 22:54
 *  1490

[Complete Guide to Parameter Tuning in XGBoost]: https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/
[MOLLY]: http://blog.csdn.net/u010657489
[Link 1]: http://blog.csdn.net/han_xiaoyang
[http_blog.csdn.net_han_xiaoyang_article_details_52665396]: http://blog.csdn.net/han_xiaoyang/article/details/52665396
[Python_Gradient Boosting]: http://blog.csdn.net/han_xiaoyang/article/details/52663170
[Link 2]: http://zhanpengfang.github.io/418home.html
[XGBoost Guide - Introduce to Boosted Trees]: http://xgboost.readthedocs.org/en/latest/model.html
[Words from the Auther of XGBoost]: https://www.youtube.com/watch?v=X47SGnTMZIU
[XGBoost Parameters _official guide]: http://xgboost.readthedocs.org/en/latest/parameter.html#general-parameters
[XGBoost Demo Codes _xgboost GitHub repository]: https://github.com/dmlc/xgboost/tree/master/demo/guide-python
[Python API Reference _official guide]: http://xgboost.readthedocs.org/en/latest/python/python_api.html
[competition page]: http://datahack.analyticsvidhya.com/contest/data-hackathon-3x
[Link 3]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/Dataset.rar
[1.-inital.png]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/1.-inital.png
[2.-tree-base-1.png]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/2.-tree-base-1.png
[3.-tree-base-2.png]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/3.-tree-base-2.png
[4.-tree-base-3.png]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/4.-tree-base-3.png
[gamma]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/5.-gamma.png
[6.-xgb2.png]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/6.-xgb2.png
[gsearch4]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/7.-gsearch-4.png
[output]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/8.-gsearcg-5.png
[output 1]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/9.-gsearcg-6.png
[output7]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/10.-gsearch-7.png
[out_put3]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/11.-final.png
[12.-final-0.01.png]: http://www.analyticsvidhya.com/wp-content/uploads/2016/02/12.-final-0.01.png
[xgb4_20_20XGBClassifier_28_20_20learning_rate_20_0.01_20_20n_estimators_5000_20_20max_depth_4_20_20min_child_weight_6_20_20gamma_0_20_20subsample_0.8_20_20colsample_bytree_0.8_20_20reg_alpha_0.005_20_20objective_20_27binary_logistic_27_20_20nthread_4_20_20scale_pos_weight_1_20_20seed_27_29_20modelfit_28xgb4_20train_20predictors_29]: /images/20220606/9cd893945ed8457188b9f33ea13f0a84.png
[Link 4]: https://github.com/aarshayj/Analytics_Vidhya/tree/master/Articles/Parameter_Tuning_XGBoost_with_Example
[Link 5]: http://www.analyticsvidhya.com/blog/2016/01/xgboost-algorithm-easy-steps/
[Link 6]: http://blog.csdn.net/column/details/machine-learning-dm.html
[3_sherri_du.jpg]: /images/20220606/1cbf95c89dc84acaab80139eb2d828b0.png
[3_sherri_du.jpg_]: http://my.csdn.net/sherri_du
[qq_38843972]: http://avatar.csdn.net/3/A/8/3_qq_38843972.jpg
[qq_38843972_qq_38843972]: /images/20220606/a2a5c607a9c64aa0a1194d89c0139f2c.png
[qq_35776173]: http://avatar.csdn.net/9/D/3/3_qq_35776173.jpg
[qq_35776173_qq_35776173]: /images/20220606/80421204edc449c5b7a18038ce7c18b7.png
[u013527905]: /images/20220606/273108ae1cb94889b787a53d96f865bd.png
[u013527905 1]: http://blog.csdn.net/u013527905
[XGBoost-Python_-]: http://blog.csdn.net/wzmsltw/article/details/50994481
[wzmsltw]: /images/20220606/ea7f383db14e459aa0188c7015b3ac1f.png
[wzmsltw 1]: http://blog.csdn.net/wzmsltw
[xgboost]: http://blog.csdn.net/sb19931201/article/details/52577592
[sb19931201]: /images/20220606/72272d8f4880498b957cf579b34ac38d.png
[sb19931201 1]: http://blog.csdn.net/sb19931201
[0f000cHqee1H0MkTEiNzq0.jpg]: http://ubmcmm.baidustatic.com/media/v1/0f000cHqee1H0MkTEiNzq0.jpg
[Image 1]: 
[xgboost 1]: http://blog.csdn.net/q383700092/article/details/53763328
[q383700092]: /images/20220606/ccb5e9a0caf74fd895289a445c8d48fc.png
[q383700092 1]: http://blog.csdn.net/q383700092
[xgboost 2]: http://blog.csdn.net/u010414589/article/details/51153310
[u010414589]: /images/20220606/4333a49e6838468d94d4bb35353e309c.png
[u010414589 1]: http://blog.csdn.net/u010414589
[xgboost 3]: http://blog.csdn.net/chivalrousli/article/details/54409386
[chivalrousli]: /images/20220606/128d9789c2724a40877dcb8d6b2e97c6.png
[chivalrousli 1]: http://blog.csdn.net/chivalrousli
[0f000cd5Zq8ETRbnD9KLY6.jpg]: http://ubmcmm.baidustatic.com/media/v1/0f000cd5Zq8ETRbnD9KLY6.jpg
[XGBoost]: http://blog.csdn.net/zc02051126/article/details/46711047
[zc02051126]: /images/20220606/a58d717621b342d6bea961fc8ce1cb29.png
[zc02051126 1]: http://blog.csdn.net/zc02051126
[XGBoost-Python_- 1]: http://blog.csdn.net/wzmsltw/article/details/50988430
[xgboost 4]: http://blog.csdn.net/xuxiatian/article/details/54288074
[xuxiatian]: /images/20220606/ac7fa14e80664151957aa0f10b4dffbb.png
[xuxiatian 1]: http://blog.csdn.net/xuxiatian
[xgboost 5]: http://blog.csdn.net/u014265088/article/details/53412076
[u014265088]: /images/20220606/8e00ad1e0a09496fb73e0241083e6c37.png
[u014265088 1]: http://blog.csdn.net/u014265088
[XGBoost 1]: http://blog.csdn.net/wzmsltw/article/details/52382489
[XGBoost_Python]: http://blog.csdn.net/u010657489/article/details/51952785
[u010657489]: /images/20220606/adbcb7be0b58436ba96f77793d0e180b.png
[sklearn_GDBT_XGBOOST]: http://blog.csdn.net/wuxiaosi808/article/details/78036633
[wuxiaosi808]: /images/20220606/4c1461bd784041bca7f328e3b6ddabc3.png
[wuxiaosi808 1]: http://blog.csdn.net/wuxiaosi808
[xgboost_ _ xgboostpythonkaggle]: http://blog.csdn.net/u011089523/article/details/72812019
[u011089523]: /images/20220606/d4e885dc3bf74630ac513b9b6c350ecc.png
[u011089523 1]: http://blog.csdn.net/u011089523
[XGboost _CV]: http://blog.csdn.net/u012969412/article/details/71330678
[u012969412]: /images/20220606/6ae85452fa5041e7adbd886c64399d0e.png
[u012969412 1]: http://blog.csdn.net/u012969412
[XGBoost_Python_XGBoost]: http://blog.csdn.net/zc02051126/article/details/46771793
[XGBoost-Python_- 2]: http://blog.csdn.net/chuanda112233/article/details/51913254
[chuanda112233]: /images/20220606/d2ef5cf25a8d4bb8955c3b97bcdc6a82.png
[chuanda112233 1]: http://blog.csdn.net/chuanda112233
[windows_Python_numpy_scipy_sklearn_xgboost_theano]: http://blog.csdn.net/a132582/article/details/70342033
[a132582]: /images/20220606/96b0890fe0b1413f8d1478d532611567.png
[a132582 1]: http://blog.csdn.net/a132582
[Sklearn_xgboost]: http://blog.csdn.net/jaylenzhang/article/details/60882688
[jaylenzhang]: /images/20220606/e1bc6469407d48159f28f4850fc0f672.png
[jaylenzhang 1]: http://blog.csdn.net/jaylenzhang
[XGBOOST]: http://blog.csdn.net/wang1127248268/article/details/53576109
[wang1127248268]: /images/20220606/a78cec46254f42a6bf77466ad832d4e4.png
[wang1127248268 1]: http://blog.csdn.net/wang1127248268
[XGBoost_Python_XGBoost 1]: /images/20220606/ac14b5c505b147db85922bedc178757b.png/article/details/60876813
[levy_cui]: http://avatar.csdn.net/5/E/3/3_levy_cui.jpg
[levy_cui_levy_cui]: /images/20220606/ac14b5c505b147db85922bedc178757b.png
[sklearn _ class_weight_balanced]: http://blog.csdn.net/u011026968/article/details/70766805
[u011026968]: /images/20220606/9864838bc2744a01b7c59b23f5a64f04.png
[u011026968 1]: http://blog.csdn.net/u011026968
[iphone_scale]: http://blog.csdn.net/fanyong245758753/article/details/53741232
[fanyong245758753]: /images/20220606/033df6cea5ef4fda97e27b0e3a4a05be.png
[fanyong245758753 1]: http://blog.csdn.net/fanyong245758753
[xgboost 6]: http://blog.csdn.net/webzjuyujun/article/details/52116650
[webzjuyujun]: /images/20220606/42ffa642674747c7802790729daabd58.png
[webzjuyujun 1]: http://blog.csdn.net/webzjuyujun
[--GBDT]: http://blog.csdn.net/lc013/article/details/56667157
[lc013]: /images/20220606/29b57b922a3942d0a4173a3642cbc67e.png
[lc013 1]: http://blog.csdn.net/lc013
[kaggle_3_blending]: http://blog.csdn.net/mmc2015/article/details/51301865
[mmc2015]: /images/20220606/b98aa2bde615451d8e2fadfdaf9faf9a.png
[mmc2015 1]: http://blog.csdn.net/mmc2015
[xgboost 7]: http://blog.csdn.net/a819825294/article/details/51206410
[a819825294]: /images/20220606/887232ca84e349f08307e7116c4a8b9f.png
[a819825294 1]: http://blog.csdn.net/a819825294
[xgboost 8]: /images/20220606/8863c6adf749409abd2e41b11a31cb2a.png/article/details/53363384
[qq_34264472]: http://avatar.csdn.net/A/C/3/3_qq_34264472.jpg
[qq_34264472_qq_34264472]: /images/20220606/8863c6adf749409abd2e41b11a31cb2a.png
[Kaggle _ xgboost]: http://blog.csdn.net/aliceyangxi1987/article/details/72969146
[aliceyangxi1987]: /images/20220606/cb4df0e4377444869f0d4699ae55a1de.png
[aliceyangxi1987 1]: http://blog.csdn.net/aliceyangxi1987
[xgboost 9]: http://blog.csdn.net/John159151/article/details/45549143
[John159151]: /images/20220606/8c7273d1133e435a9ef0595a81591583.png
[John159151 1]: http://blog.csdn.net/John159151
[Titanic Xgboost]: /images/20220606/2343da8767b94cf8878792168d3c36d2.png/article/details/64481129
[qq_16234613]: http://avatar.csdn.net/C/2/5/3_qq_16234613.jpg
[qq_16234613_qq_16234613]: /images/20220606/2343da8767b94cf8878792168d3c36d2.png
[Python_Xgboost]: http://blog.csdn.net/u010035907/article/details/53418486
[u010035907]: /images/20220606/e9231cfbc4fe43c8bfbb275d46111a44.png
[u010035907 1]: http://blog.csdn.net/u010035907
[Python_XGBoost]: http://blog.csdn.net/xuxiatian/article/details/54231745
[win10_64_python xgboost]: http://blog.csdn.net/sb19931201/article/details/52236020
[zip.svg]: /images/20220606/f649bf86b7ab46f9b8518776e0fb75df.png
[zip.svg 1]: http://download.csdn.net/detail/chenxh/3
[xgboost_Python]: http://blog.csdn.net/songying2012/article/details/50384288
[songying2012]: /images/20220606/9384ff7a082d4f01964f735f3f5dac06.png
[songying2012 1]: http://blog.csdn.net/songying2012
[python _ xgboost]: http://blog.csdn.net/onepiecehuiyu/article/details/51387305
[onepiecehuiyu]: /images/20220606/6c4c7ae2261c45f69b1da502b00b0d28.png
[onepiecehuiyu 1]: http://blog.csdn.net/onepiecehuiyu
[windows_python xgboost]: http://blog.csdn.net/yscyh/article/details/72834188
[yscyh]: /images/20220606/8640e5606386462b844c7c558ad16dab.png
[yscyh 1]: http://blog.csdn.net/yscyh
[XGBoost 2]: /images/20220606/3f3d361c020a42c98bf54093c89cfbeb.png/article/details/76354004
[weixin_38569817]: http://avatar.csdn.net/6/6/F/3_weixin_38569817.jpg
[weixin_38569817_weixin_38569817]: /images/20220606/3f3d361c020a42c98bf54093c89cfbeb.png
[Xgboost]: http://blog.csdn.net/u013963380/article/details/72731477
[u013963380]: /images/20220606/e1d860c1b71c4e2f808dc4297255144b.png
[u013963380 1]: http://blog.csdn.net/u013963380
[xgboost _ scale_pos_weight]: http://blog.csdn.net/h4565445654/article/details/72257538
[h4565445654]: /images/20220606/8fef5d0acbff4599b716677e8bb94e7f.png
[h4565445654 1]: http://blog.csdn.net/h4565445654
[xgboost 10]: http://blog.csdn.net/sb19931201/article/details/52557382
[XGBoost-Python_- 3]: http://blog.csdn.net/xuxiatian/article/details/54135848
[xgboost 11]: http://blog.csdn.net/wuzhongdehua1/article/details/52488424
[wuzhongdehua1]: /images/20220606/0440054738074e61bae4a05244fdfe81.png
[wuzhongdehua1 1]: http://blog.csdn.net/wuzhongdehua1
[xgboost 12]: http://blog.csdn.net/vfgbv/article/details/72820028
[vfgbv]: /images/20220606/8e62baed5ef6408c978df2c4b1b54de0.png
[vfgbv 1]: http://blog.csdn.net/vfgbv
[XGBoost 3]: http://blog.csdn.net/songying2012/article/details/50403494
[XGBoost 4]: http://blog.csdn.net/hhy518518/article/details/54988024
[hhy518518]: /images/20220606/c887ae78c4fe4fc4bd9b2c88e70eadeb.png
[hhy518518 1]: http://blog.csdn.net/hhy518518
[xgboost 13]: http://blog.csdn.net/u013714645/article/details/77161918
[u013714645]: /images/20220606/2c2e7192ab874641a2cf4ea0702d505a.png
[u013714645 1]: http://blog.csdn.net/u013714645
[XGBoost_Null]: http://blog.csdn.net/VitoDi/article/details/59541300
[VitoDi]: /images/20220606/2594af3430c342a2abfdcb7124d728d6.png
[VitoDi 1]: http://blog.csdn.net/VitoDi
[GB_GBDT_xgboost]: http://blog.csdn.net/shenxiaoming77/article/details/51542982
[shenxiaoming77]: /images/20220606/4ceb827367c642b882dfde3f23239ea4.png
[shenxiaoming77 1]: http://blog.csdn.net/shenxiaoming77
[Xgboost 1]: http://blog.csdn.net/q383700092/article/details/53698760
[Link 7]: http://blog.csdn.net/u013709270/article/details/72967462
[u013709270]: /images/20220606/d9a9dceb174d4dec93bda2e4cb7af201.png
[u013709270 1]: http://blog.csdn.net/u013709270
[xgboost 14]: http://blog.csdn.net/aiyaya1689/article/details/54378725
[aiyaya1689]: /images/20220606/5e1a4f85a2164719971b922fba4e4f80.png
[aiyaya1689 1]: http://blog.csdn.net/aiyaya1689
[python xgboost]: http://blog.csdn.net/yanyanyufei96/article/details/70338632
[yanyanyufei96]: /images/20220606/1b963dcbcd874b23a69a5587f88d365c.png
[yanyanyufei96 1]: http://blog.csdn.net/yanyanyufei96
[XGBoost 5]: /images/20220606/3f408058774c4c4ca43c8842d8d30d81.png/article/details/52424924
[Leo_Xu06]: http://avatar.csdn.net/D/5/1/3_leo_xu06.jpg
[Leo_Xu06_Leo_Xu06]: /images/20220606/3f408058774c4c4ca43c8842d8d30d81.png
[XGBoost_Python 1]: http://blog.csdn.net/u010035907/article/details/53045878
[XGBoost 6]: /images/20220606/7733c003278d4c76b3c538b754daeeaa.png/article/details/70767108
[fly_time2012]: http://avatar.csdn.net/1/A/F/3_fly_time2012.jpg
[fly_time2012_fly_time2012]: /images/20220606/7733c003278d4c76b3c538b754daeeaa.png
[XGBoost 7]: http://blog.csdn.net/xiaocong1990/article/details/55107239
[xiaocong1990]: /images/20220606/b19d3728c6c84fb9903cc4a93aa4db00.png
[xiaocong1990 1]: http://blog.csdn.net/xiaocong1990
[64_win10_xgboost python]: http://blog.csdn.net/zyghs/article/details/50897716
[zyghs]: /images/20220606/e3ff83cd751643f89c7947fe8d8e9e3d.png
[zyghs 1]: http://blog.csdn.net/zyghs
[Link 8]: /images/20220606/a8e398922fa54bbb81de71ee2a1e09ef.png/article/details/50646708
[qq_16365849]: http://avatar.csdn.net/B/9/5/3_qq_16365849.jpg
[qq_16365849_qq_16365849]: /images/20220606/a8e398922fa54bbb81de71ee2a1e09ef.png
[XGBoost 8]: http://blog.csdn.net/q383700092/article/details/60954996
[Gradient Tree Boosting _GBM_ GBRT_ GBDT_ MART_XGBoost_Scikit-learn]: http://blog.csdn.net/yangliuy/article/details/62411509
[yangliuy]: /images/20220606/3eb90760e0e54ff799729162b96a146b.png
[yangliuy 1]: http://blog.csdn.net/yangliuy
[11_Python_Gradient Boosting Machine_GBM]: http://blog.csdn.net/yaoqiang2011/article/details/52663170
[yaoqiang2011]: /images/20220606/2f9625ef62fb48088c5410a74e88f0b7.png
[yaoqiang2011 1]: http://blog.csdn.net/yaoqiang2011
[Link 9]: http://blog.csdn.net/wtq1993/article/details/51418958
[wtq1993]: /images/20220606/c2f3ac2c998f42cbb1cdc5dfad1def38.png
[wtq1993 1]: http://blog.csdn.net/wtq1993
[python_sklearn]: http://blog.csdn.net/liujiandu101/article/details/51654975
[liujiandu101]: /images/20220606/6ce906b3a78347e78d0ed5d45c78ad05.png
[liujiandu101 1]: http://blog.csdn.net/liujiandu101
[--- _gbdt_xgboost]: http://blog.csdn.net/china1000/article/details/51106856
[china1000]: /images/20220606/0b2856b42625473db906cd4189d591c6.png
[china1000 1]: http://blog.csdn.net/china1000
[2017.07.31_ LabelEncoder xgb.cv]: http://blog.csdn.net/strwolf/article/details/76462459
[strwolf]: /images/20220606/53f8ec0e2b7b48ee8fa66f088bed50d8.png
[strwolf 1]: http://blog.csdn.net/strwolf
[R_XGBoost_XGBboost]: http://blog.csdn.net/langyichao1/article/details/70183127
[langyichao1]: /images/20220606/e6632c14b11e4656b9b6750309b2f496.png
[langyichao1 1]: http://blog.csdn.net/langyichao1
[12_XGBoost_Python]: http://blog.csdn.net/u010480899/article/details/53858062
[u010480899]: /images/20220606/0bdd32bf3e1b43d09c51ea663cc100d4.png
[u010480899 1]: http://blog.csdn.net/u010480899
[XGBoost_Python-3.X]: http://blog.csdn.net/kicilove/article/details/78413112
[kicilove]: /images/20220606/15ced7468350472f808dc6926eddff15.png
[kicilove 1]: http://blog.csdn.net/kicilove
[zip.svg 2]: http://download.csdn.net/detail/walegahaha/9448479
[logistic regression_--_python]: http://blog.csdn.net/helen1313/article/details/52946162
[helen1313]: /images/20220606/7705e100b1594d71b5012ec00e398217.png
[helen1313 1]: http://blog.csdn.net/helen1313
[linear regression_gradient descent_--_python]: http://blog.csdn.net/helen1313/article/details/52945147
[Python sklearn]: /images/20220606/d934464e52014392a2ffb85eb46e4127.png/article/details/62889012
[wy_0928]: http://avatar.csdn.net/E/C/4/3_wy_0928.jpg
[wy_0928_wy_0928]: /images/20220606/d934464e52014392a2ffb85eb46e4127.png
[_KNN_1_python]: http://blog.csdn.net/fenfenmiao/article/details/52165472
[fenfenmiao]: /images/20220606/b2142dbbe1f14fc4b13fc4d9b88be166.png
[fenfenmiao 1]: http://blog.csdn.net/fenfenmiao
[python]: http://blog.csdn.net/yangxudong/article/details/26869841
[yangxudong]: /images/20220606/cb5e4bcef83e4e8e9b6aa4f1b7587072.png
[yangxudong 1]: http://blog.csdn.net/yangxudong
[in action _0 python]: http://blog.csdn.net/mashuaihh/article/details/11746539
[mashuaihh]: /images/20220606/a4348239d6b64cb4b05660ed8f4338c4.png
[mashuaihh 1]: http://blog.csdn.net/mashuaihh
[python 1]: /images/20220606/813840be4112416da6afc2598d1b2552.png/article/details/76906389
[qq_36396104]: http://avatar.csdn.net/D/8/6/3_qq_36396104.jpg
[qq_36396104_qq_36396104]: /images/20220606/813840be4112416da6afc2598d1b2552.png
[Decision Tree_Python]: /images/20220606/e567d05aba404213a956219b4fc03c4b.png/article/details/54927178
[sinat_35512245]: http://avatar.csdn.net/9/F/4/3_sinat_35512245.jpg
[sinat_35512245_sinat_35512245]: /images/20220606/e567d05aba404213a956219b4fc03c4b.png
[100_python]: http://blog.csdn.net/jiangjingxuan/article/details/54729066
[jiangjingxuan]: /images/20220606/e64ff98e72e8418ab5ba1a1cb241d00c.png
[jiangjingxuan 1]: http://blog.csdn.net/jiangjingxuan
[----K-_Python]: /images/20220606/25fbf21774c344c785519c9fa296b27b.png/article/details/52781145
[Ichimaru_Gin]: http://avatar.csdn.net/A/B/0/3_ichimaru_gin_.jpg
[Ichimaru_Gin_Ichimaru_Gin]: /images/20220606/25fbf21774c344c785519c9fa296b27b.png
[kNN_python]: /images/20220606/813840be4112416da6afc2598d1b2552.png/article/details/75506608
[ID3_python]: /images/20220606/813840be4112416da6afc2598d1b2552.png/article/details/76944667
[Python]: http://blog.csdn.net/htmlgood/article/details/51457847
[htmlgood]: /images/20220606/0e7090ccfa8144d6bfb6d5ab573f27af.png
[htmlgood 1]: http://blog.csdn.net/htmlgood
[XGBoost-Python_- 4]: http://blog.csdn.net/g11d111/article/details/73382246
[g11d111]: /images/20220606/907bee1f638443be8b3b4f9af586ef56.png
[g11d111 1]: http://blog.csdn.net/g11d111
[- xgboost]: /images/20220606/0a8175ffb4554498b2dec53834069b96.png/article/details/71425270
[ZK_J1994]: http://avatar.csdn.net/0/0/F/3_zk_j1994.jpg
[ZK_J1994_ZK_J1994]: /images/20220606/0a8175ffb4554498b2dec53834069b96.png
[Link 10]: /images/20220606/b4ca7d1fe47f4c9889991c888a12bc95.png/article/details/53046275
[x_r_su]: http://avatar.csdn.net/7/C/9/3_x_r_su.jpg
[x_r_su_x_r_su]: /images/20220606/b4ca7d1fe47f4c9889991c888a12bc95.png
[Spark2.0_5_GBDT_GBDT_Scikit]: /images/20220606/c64a7d01589b4ff0baa8f17b1a080ce6.png/article/details/52366265
[qq_34531825]: http://avatar.csdn.net/5/1/D/3_qq_34531825.jpg
[qq_34531825_qq_34531825]: /images/20220606/c64a7d01589b4ff0baa8f17b1a080ce6.png
[python 2]: /images/20220606/b7698e7e9f8744b89d5d8f2debe05559.png/article/details/51000864
[Wind_white]: http://avatar.csdn.net/5/9/3/3_wind_white.jpg
[Wind_white_Wind_white]: /images/20220606/b7698e7e9f8744b89d5d8f2debe05559.png
[pdf.svg]: /images/20220606/56fadc6706e54f92a2b60e492697584e.png
[pdf.svg 1]: http://download.csdn.net/detail/heyc861221/9521951
[9_Python_R]: /images/20220606/f8a51c126e1e4a1a9ca571edb05b21e0.png/article/details/51201257
[qq_26898461]: http://avatar.csdn.net/E/8/3/3_qq_26898461.jpg
[qq_26898461_qq_26898461]: /images/20220606/f8a51c126e1e4a1a9ca571edb05b21e0.png
[9_Python_R 1]: /images/20220606/c31d36ed279a4b1caaebd3fd5b3839ae.png/article/details/51192086
[longxinchen_ml]: http://avatar.csdn.net/E/8/5/3_longxinchen_ml.jpg
[longxinchen_ml_longxinchen_ml]: /images/20220606/c31d36ed279a4b1caaebd3fd5b3839ae.png
[XGBoost-Python_- 5]: /images/20220606/fd29aca0a1d64098b65011be58510673.png/article/details/68929069
[Jinlong_Xu]: http://avatar.csdn.net/3/4/A/3_jinlong_xu.jpg
[Jinlong_Xu_Jinlong_Xu]: /images/20220606/fd29aca0a1d64098b65011be58510673.png
[zip.svg 3]: http://download.csdn.net/detail/u011974639/9943865
[Spark2.0_12_ _L1_L2]: /images/20220606/c64a7d01589b4ff0baa8f17b1a080ce6.png/article/details/52689654
[python_R]: http://blog.csdn.net/starzhou/article/details/51199187
[starzhou]: /images/20220606/6ffbd03151164523a827575460973c3a.png
[starzhou 1]: http://blog.csdn.net/starzhou
[12 - OpenCV]: http://blog.csdn.net/linolzhang/article/details/55548593
[linolzhang]: /images/20220606/e9448e7cd55d4770838a9d6040b2cb83.png
[linolzhang 1]: http://blog.csdn.net/linolzhang
[10 _ Python _ R]: http://blog.csdn.net/fishmai/article/details/52515486
[fishmai]: /images/20220606/33a7240447fd468d86630c98ce7c6440.png
[fishmai 1]: http://blog.csdn.net/fishmai
[Python _ R]: http://blog.csdn.net/a6225301/article/details/50479672
[a6225301]: /images/20220606/01190b2f324449f29cd748412300cf07.png
[a6225301 1]: http://blog.csdn.net/a6225301