SDU项目实训记录4.3——其它模型的实现（7.24）

忘是亡心i 2022-08-31 11:10 104阅读 0赞

### SDU项目实训记录4.3——其它模型的实现 ###

*  一、RandomForestClassifier模型（随机森林）
 *  二、GradientBoostingClassifier 模型
 *  三、AdaBoostClassifier模型

# 一、RandomForestClassifier模型（随机森林） #

优点：随机性高，适用性广  
缺点：效果可解释性差

from sklearn.ensemble import RandomForestClassifier
    from sklearn.model_selection import GridSearchCV
    clf = RandomForestClassifier(n_estimators=100)
    params = {
        
        'n_estimators':range(1,200)
    }
    cv = GridSearchCV(clf,param_grid= params ,verbose = 1,n_jobs=-1, scoring='roc_auc')
    cv.fit(train_X, train_y)
    rfc= cv.best_estimator_
    cv.best_score_

OUT:0.7406656860482378

# 二、GradientBoostingClassifier 模型 #

优点：优化后结果较好，且可解释性较强  
缺点：适用性可解释性差

from  sklearn.ensemble  import  GradientBoostingClassifier
    clf = GradientBoostingClassifier(
    loss='deviance',  ##损失函数默认deviance  deviance具有概率输出的分类的偏差
    n_estimators=100, ##默认100 回归树个数 弱学习器个数
    learning_rate=0.1,  ##默认0.1学习速率/步长0.0-1.0的超参数  每个树学习前一个树的残差的步长
    max_depth=3,   ## 默认值为3每个回归树的深度  控制树的大小 也可用叶节点的数量max leaf nodes控制
    subsample=1,  ##树生成时对样本采样 选择子样本<1.0导致方差的减少和偏差的增加
    min_samples_split=2, ##生成子节点所需的最小样本数 如果是浮点数代表是百分比
    min_samples_leaf=1, ##叶节点所需的最小样本数  如果是浮点数代表是百分比
    max_features=None, ##在寻找最佳分割点要考虑的特征数量auto全选/sqrt开方/log2对数/None全选/int自定义几个/float百分比
    max_leaf_nodes=None, ##叶节点的数量 None不限数量
    min_impurity_split=1e-7, ##停止分裂叶子节点的阈值
    verbose=0,  ##打印输出 大于1打印每棵树的进度和性能
    warm_start=False, ##True在前面基础上增量训练(重设参数减少训练次数) False默认擦除重新训练
    random_state=0  ##随机种子-方便重现
    )  ##多类别回归建议使用随机森林
    params = {
        
        'n_estimators':range(1,200)
    }
    cv = GridSearchCV(clf,param_grid= params ,verbose = 1,n_jobs=-1, scoring='roc_auc')
    cv.fit(train_X, train_y)
    gbc= cv.best_estimator_
    cv.best_score_

OUT:0.7624008038357515

# 三、AdaBoostClassifier模型 #

优点：随机性高，适用性广，可解释性强，且效果好  
缺点：算法较为复杂

from sklearn.ensemble import  AdaBoostClassifier
    from sklearn.model_selection import GridSearchCV
    clf= AdaBoostClassifier()
    params = {
        
        'n_estimators':range(1,200)
    }
    cv = GridSearchCV(clf,param_grid= params ,verbose = 1,n_jobs=-1, scoring='roc_auc')
    cv.fit(train_X, train_y)
    abc= cv.best_estimator_
    cv.best_score_

OUT:0.7610013009463877