三、Sklearn 特征选择

快来打我* 2023-08-17 17:30 120阅读 0赞

**目录**

一、概述

二、Filter

1. 移除低方差的特征 (Removing features with low variance)

2、单变量特征选择 (Univariate feature selection)

（1）、卡方(Chi2)检验

（2）Pearson相关系数 (Pearson Correlation)

3 、互信息和最大信息系数 (MIC)

4 、距离相关系数 (Distance Correlation)

5、基于模型的特征排序 (Model based ranking)

二、Wrapper

1、递归特征消除 (Recursive Feature Elimination)

三、Embedded

1、使用SelectFromModel方法特征选择

（1）基于L1、L2惩罚项的特征选择法

（2） 随机稀疏模型 (Randomized sparse models)

（3）基于树的特征选择 (Tree-based feature selection)

四、将特征选择过程融入pipeline (Feature selection as part of a pipeline)

--------------------

# 一、概述 #

1、当数据预处理完成后，我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通常来说，从两个方面考虑来选择特征：

*  **特征是否发散**：如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个**特征对于样本的区分并没有什么用。**
 *  **特征与目标的相关性**：这点比较显见，与目标相关性高的特征，应当优选选择。**除移除低方差法外，本文介绍的其他方法均从相关性考虑。**

2、根据特征选择的形式又可以**将特征选择方法分为3种**：

*  **Filter**：过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。
 *  **Wrapper**：包装法，根据目标函数（通常是**预测效果评分**），每次选择若干特征，或者排除若干特征。
 *  **Embedded**：嵌入法，先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来确定特征的优劣。

3、特征选择主要有两个目的：

*  减少特征数量、降维，使模型**泛化能力更强，减少过拟合**；
 *  增强对特征和特征值之间的理解。

拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。**通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。**本文将结合 Scikit-learn提供的例子 介绍几种常用的特征选择方法，它们各自的优缺点和问题。

# 二、Filter #

## 1. 移除低方差的特征 (Removing features with low variance) ##

假设某特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。

**当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用**。

而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的的特征选择方法中选择合适的进行进一步的特征选择。

from sklearn.feature_selection import VarianceThreshold
    X = [[0, 0, 1], [0, 1, 0], [1, 0, 0], [0, 1, 1], [0, 1, 0], [0, 1, 1]]
    print(X)
    # 移除方差小于 0.16的列
    sel = VarianceThreshold(threshold=(.8 * (1 - .8)))
    X_v = sel.fit_transform(X)
    print(X_v)

## 2、单变量特征选择 (Univariate feature selection) ##

**单变量特征选择的原理是分别单独的计算每个变量的某个统计指标，根据该指标来判断哪些指标重要，剔除那些不重要的指标。**

（**1）**对于**分类问题(y离散)**，可采用：*卡方检验*，*f\_classif*, *mutual\_info\_classif*，*互信息*

**（2）**对于**回归问题(y连续)**，可采用：*皮尔森相关系数*，*f\_regression*, *mutual\_info\_regression*，*最大信息系数*

**（3）优缺点**

**优点：比较简单，易于运行，易于理解，通常对于理解数据有较好的效果。**

**缺点：对特征优化、提高泛化能力来说不一定有效**。这种方法有许多改进的版本、变种。

**（4）**单变量特征选择基于单变量的统计测试来选择最佳特征。它可以看作预测模型的一项预处理。Scikit-learn将特征选择程序用包含 transform 函数的对象来展现：

*  **SelectKBest** 移除得分前 k 名以外的所有特征(取top k)，选择排名靠前的K个特征。
 *  **SelectPercentile** 移除得分在用户指定百分比以后的特征(取top k%)，选择排名靠前的 k% 比率的特征。
 *  对**每个特征使用通用的单变量统计检验**： 假正率(false positive rate) SelectFpr, 伪发现率(false discovery rate) SelectFdr, 或族系误差率 SelectFwe.
 *  **GenericUnivariateSelect** 可以设置不同的策略来进行单变量特征选择。同时不同的选择策略也能够使用超参数寻优，从而让我们找到最佳的单变量特征选择策略。

**（5）**将特征输入到评分函数，返回一个单变量的 f\_score(F检验的值) 或 p-values (P值，假设检验中的一个标准，P-value用来和显著性水平作比较)，注意 SelectKBest 和 SelectPercentile 只有得分，没有p-value。

**（6）**如果你使用稀疏数据(比如，使用稀疏矩阵表示的数据), 卡方检验(chi2)、互信息回归(mutual\_info\_regression)、互信息分类(mutual\_info\_classif)在处理数据时可保持其稀疏性.

### （1）、卡方(Chi2)检验 ###

**原理参考：**[https://mp.csdn.net/postedit/101861846][https_mp.csdn.net_postedit_101861846]

经典的卡方检验是**检验定性自变量对定性因变量的相关性**。比如，我们可以对样本进行一次chi2 测试来**选择最佳的两项特征：**

from sklearn.datasets import load_iris
    from sklearn.feature_selection import SelectKBest
    from sklearn.feature_selection import chi2
    
    iris = load_iris()
    X, y = iris.data, iris.target
    print(X.shape)
    selector = SelectKBest(chi2, k=2)
    X_new = selector.fit_transform(X, y)
    print(X_new.shape)

### （2）Pearson相关系数 (Pearson Correlation) ###

原理参考：[https://blog.csdn.net/s294878304/article/details/101864801][https_blog.csdn.net_s294878304_article_details_101864801]

皮尔森相关系数是一种最简单的，能帮助理解特征和响应变量之间关系的方法，该方法衡量的是变量之间的线性相关性，结果的取值区间为\[-1，1\]，-1表示完全的负相关，+1表示完全的正相关，0表示没有线性相关。

Pearson Correlation速度快、易于计算，经常在拿到数据(经过清洗和特征提取之后的)之后第一时间就执行。Scipy的 pearsonr 方法能够同时计算 相关系数 和p-value.

import numpy as np
    from scipy.stats import pearsonr
    
    np.random.seed(0)
    size = 300
    x = np.random.normal(0, 1, size)
    print("Lower noise：", pearsonr(x, x + np.random.normal(0, 1, size)))
    print("Higher noise：", pearsonr(x, x + np.random.normal(0, 10, size)))
    
    from sklearn.feature_selection import SelectKBest
    from sklearn import datasets
    
    iris = datasets.load_iris()
    # 构建相关系数模型
    model = SelectKBest(lambda X, Y: np.array(list(map(lambda x: pearsonr(x, Y), X.T))).T[0], k=2)  
    model.fit_transform(iris.data, iris.target) # 对模型将数据传入
    print('相关系数：',model.scores_)    # 返回所有变量X与Y的相关系数值
    print('P值：',model.pvalues_)   # 返回所有变量X的P值
    # 打印传入数据的话会返回k=2所选择的两个变量的数据的值
    print('所选变量的数值为：\n', model.fit_transform(iris.data, iris.target))

这个例子中，我们比较了变量在加入噪音之前和之后的差异。当噪音比较小的时候，相关性很强，p-value很低。

Scikit-learn提供的 [f\_regrssion][f_regrssion] 方法能够批量计算特征的f\_score和p-value，非常方便，参考sklearn的 [pipeline][]

**Pearson相关系数的一个明显缺陷是，作为特征排序机制，他只对线性关系敏感。如果关系是非线性的，即便两个变量具有一一对应的关系，Pearson相关性也可能会接近0。**

x = np.random.uniform(-1, 1, 100000)
    print pearsonr(x, x**2)[0]
    -0.00230804707612

更多类似的例子参考 [sample plots][] 。另外，如果**仅仅根据相关系数这个值来判断的话，有时候会具有很强的误导性**，如 [Anscombe’s quartet][Anscombe_s quartet] ，最好把数据可视化出来，以免得出错误的结论。

### 3 、互信息和最大信息系数 (MIC) ###

经典的互信息（互信息为随机变量X与Y之间的互信息I(X;Y)为单个事件之间互信息的数学期望）也是评价定性自变量对定性因变量的相关性的，互信息计算公式如下：

![20191002001457562.png][]

互信息直接用于特征选择其实**不是太方便**：

1、它不属于度量方式，也没有办法归一化，在不同数据及上的结果无法做比较；

2、对于连续变量的计算不是很方便（X和Y都是集合，x，y都是离散的取值），通常变量需要先离散化，而互信息的结果对离散化的方式很敏感。

最大信息系数克服了这两个问题。它首先寻找一种最优的离散化方式，然后把互信息取值转换成一种度量方式，取值区间在\[0，1\]。 [minepy][] 提供了MIC功能。

互信息法是用来**捕捉每个特征与标签之间的任意关系（包括线性和非线性关系）的过滤方法**。它既**可以做回归也可以做分类**。

包含两个类feature\_selection.mutual\_info\_classif（互信息分类）和feature\_selection.mutual\_info\_regression（互信息回归）。

它**返回每个特征与目标之间的互信息量的估计，这个估计量在 \[0,1\] 之间取值，为0则表示两个变量独立，为1则表示两个变量完全相关。**以互信息分类为例的代码如下**：**

import numpy as np
    from sklearn.feature_selection import SelectKBest
    from minepy import MINE
    from sklearn import  datasets
    
    iris=datasets.load_iris()
    
    def mic(x, y):
        m = MINE()
        m.compute_score(x, y)
        return (m.mic(), 0.5)
    
    # 构建互信息数模型
    model = SelectKBest(lambda X, Y:np.array(list(map(lambda x: mic(x, Y), X.T))).T[0], k=2)
    model.fit_transform(iris.data, iris.target) #对模型将数据传入
    print('互信息系数：',model.scores_)    #返回所有变量X与Y的相关系数值
    print('P值：',model.pvalues_)   #返回所有变量X的P值
    # 打印传入数据的话会返回k=2所选择的两个变量的数据的值
    print('所选变量的数值为：\n',model.fit_transform(iris.data, iris.target))

### 4 、距离相关系数 (Distance Correlation) ###

距离相关系数是为了克服Pearson相关系数的弱点而生的。在x和x2这个例子中，**即便Pearson相关系数是0，我们也不能断定这两个变量是独立的（有可能是非线性相关）**；**但如果距离相关系数是0，那么我们就可以说这两个变量是独立的。**

x = runif (1000, -1, 1)
    dcor(x, x**2)
    [1] 0.4943864

尽管有 MIC 和 距离相关系数 在了，但**当变量之间的关系接近线性相关的时候，Pearson相关系数仍然是不可替代的**。

第一，Pearson相关系数**计算速度快**，这在处理大规模数据的时候很重要。

第二，Pearson相关系数的取值区间是\[-1，1\]，而MIC和距离相关系数都是\[0，1\]。这个特点使得Pearson相关系数能够**表征更丰富的关系**，符号表示关系的正负，绝对值能够表示强度。当然，Pearson相关性有效的前提是两个变量的变化关系是单调的。

### 5、基于模型的特征排序 (Model based ranking) ###

这种方法的**思路是直接使用你要用的机器学习算法**，**针对 每个单独的特征 和 响应变量建立预测模型。**

假如 特征 和 响应变量 之间的关系是**非线性的**，可以用基于树的方法(决策树、随机森林)、或者 扩展的线性模型 等。基于树的方法比较易于使用，因为他们对非线性关系的建模比较好，并且不需要太多的调试。但要注意过拟合问题，因此树的深度最好不要太大，再就是**运用交叉验证**。

在 波士顿房价数据集 上使用sklearn的 随机森林回归 给出一个\_单变量选择\_的例子(这里使用了交叉验证)：

from sklearn.model_selection import cross_val_score,ShuffleSplit
    from sklearn.datasets import load_boston
    from sklearn.ensemble import  RandomForestRegressor
    import numpy as np
    
    boston = load_boston()
    X = boston['data'] # boston.data
    Y = boston.target
    names = boston['feature_names']
    print(names)
    # 随机森林中树的个数
    rf = RandomForestRegressor(n_estimators=20, max_depth=4)
    scores = []
    # 单独采用每个特征进行建模，并进行交叉验证
    # 遍历每个特征
    for i in range(X.shape[1]):
        score = cross_val_score(rf, X[:, i:i+1], Y, scoring="r2",
                                cv=ShuffleSplit(len(X), 3, .3))
        scores.append((format(np.mean(score), '.3f'), names[i]))
    print(sorted(scores, reverse=True))

[('-9.347', 'AGE'), ('-6.945', 'TAX'), ('-6.002', 'DIS'), ('-5.200', 'B'), ('-4.456', 
    'NOX'), ('-4.088', 'LSTAT'), ('-37.533', 'INDUS'), ('-3.684', 'RAD'), ('-2.081', 'CHAS'), 
    ('-15.497', 'ZN'), ('-13.884', 'RM'), ('-12.736', 'PTRATIO'), ('-12.229', 'CRIM')]

# 二、Wrapper #

## 1、递归特征消除 (Recursive Feature Elimination) ##

递归消除特征法**使用一个基模型来进行多轮训练，每轮训练后，移除若干权值系数的特征，再基于新的特征集进行下一轮训练**。

**sklearn官方解释**：对特征含有权重的预测模型(例如，线性模型对应参数coefficients)，RFE通过**递归减少考察的特征集规模来选择特征**。首先，预测模型在原始特征上训练，每个特征指定一个权重。之后，那些拥有最小绝对值权重的特征被踢出特征集。如此往复递归，直至剩余的特征数量达到所需的特征数量。

RFECV 通过交叉验证的方式执行RFE，以此来选择最佳数量的特征：对于一个数量为 d 的 feature 的集合，他的所有的子集的个数是2的d次方减1(包含空集)。指定一个外部的学习算法，比如SVM之类的。通过该算法计算所有子集的validation error。选择error最小的那个子集作为所挑选的特征。

import  numpy as np
    from sklearn.feature_selection import RFE,RFECV
    from sklearn.linear_model import LogisticRegression
    from sklearn import datasets
    iris = datasets.load_iris()
    X = iris.data
    Y = iris.target
    # FECV()利用交叉验证来选择，不过这里的交叉验证的数据集切割对象不再是 行数据（样本），
    # 而是列数据（特征），但是计算量会大，cv默认是3
    # 构建逻辑回归的递归消除模型
    model=RFE(estimator=LogisticRegression(), n_features_to_select=2)   #构建逻辑回归的递归消除模型
    X_new = model.fit_transform(iris.data, iris.target) #传入数据
    print(X[:1])#  [[5.1 3.5 1.4 0.2]]
    print(X_new[:1]) # [[3.5 0.2]]

# 三、Embedded #

## 1、使用SelectFromModel方法特征选择 ##

单变量特征选择方法独立的衡量每个特征与响应变量之间的关系，另一种主流的特征选择方法是基于机器学习模型的方法。有些机器学习方法本身就具有对特征进行打分的机制，或者很容易将其运用到特征选择任务中，例如回归模型，SVM，决策树，随机森林等等。其实Pearson相关系数等价于线性回归里的标准化回归系数。

electFromModel 作为meta-transformer，能够用于拟合后任何拥有`coef_`或`feature_importances_` 属性的预测模型。 如果特征对应的`coef_` 或 `feature_importances_` 值低于设定的阈值`threshold`，那么这些特征将被移除。除了手动设置阈值，也可通过字符串参数调用内置的启发式算法(heuristics)来设置阈值，包括：平均值(“mean”), 中位数(“median”)以及他们与浮点数的乘积，如”0.1\*mean”。

### （1）基于L1、L2惩罚项的特征选择法 ###

**使用带惩罚项的基模型，除了筛选出特征外，同时也进行了降维**。使用feature\_selection库的SelectFromModel类结合带L1惩罚项的逻辑回归模型，来选择特征的代码如下：

import  numpy as np
    from sklearn.feature_selection import SelectFromModel
    from sklearn.linear_model import LogisticRegression
    from sklearn import datasets
    iris = datasets.load_iris()
    X = iris.data
    Y = iris.target
    # 带L1惩罚项的逻辑回归作为基模型的特征选择
    model = SelectFromModel(LogisticRegression(penalty="l1", C=0.1), max_features=2)
    model.fit_transform(iris.data, iris.target) # 传入数据
    # 返回模型选择的变量的数据内容
    X_new = model.fit_transform(X, Y)
    print(X[:1])# [[5.1 3.5 1.4 0.2]]
    print(X_new[:1])# [[3.5 1.4]]

在SVM和Logistic回归中，**参数 C 控制着稀疏性，C越小选择的特征越少。在Lasso中，参数 alpha越大，选择的特征越少**。

### （2） 随机稀疏模型 (Randomized sparse models) ###

**基于L1的稀疏模型的局限在于，当面对一组互相关的特征时，它们只会选择其中一项特征。为了减轻该问题的影响可以使用随机化技术，通过\_多次重新估计稀疏模型来扰乱设计矩阵\_，或通过\_多次下采样数据来统计一个给定的回归量被选中的次数\_。**——==稳定性选择 (Stability Selection)==

RandomizedLasso 实现了使用这项策略的Lasso，RandomizedLogisticRegression 使用逻辑回归，适用于分类任务。要得到整个迭代过程的稳定分数，你可以使用 `lasso_stability_path`。

注意到对于非零特征的检测，要使随机稀疏模型比标准F统计量更有效， 那么模型的参考标准需要是稀疏的，换句话说，非零特征应当只占一小部分。

> 示例:  
> [Sparse recovery: feature selection for sparse linear models][Sparse recovery_ feature selection for sparse linear models]: 比较了不同的特征选择方法，并讨论了它们各自适用的场合。

> 参考文献:  
> [N. Meinshausen, P. Buhlmann, “Stability selection”, Journal of the Royal Statistical Society, 72 (2010)][N. Meinshausen_ P. Buhlmann_ _Stability selection_ Journal of the Royal Statistical Society_ 72 _2010]  
> F. [Bach, “Model-Consistent Sparse Estimation through the Bootstrap”][Bach_ _Model-Consistent Sparse Estimation through the Bootstrap]

### （3）基于树的特征选择 (Tree-based feature selection) ###

基于树的预测模型（见 sklearn.tree 模块，森林见 sklearn.ensemble 模块）能够用来计算特征的重要程度，因此能用来去除不相关的特征（结合 `sklearn.feature_selection.SelectFromModel`）

from sklearn.ensemble import ExtraTreesClassifier
    from sklearn.datasets import load_iris
    from sklearn.feature_selection import SelectFromModel
    iris = load_iris()
    X, Y = iris.data, iris.target
    print(X.shape)
    clf = ExtraTreesClassifier()
    clf = clf.fit(X, Y)
    print(clf.feature_importances_)# [0.14419482 0.05850172 0.41185762 0.38544583]
    model = SelectFromModel(clf, prefit=True)
    X_new = model.transform(X)
    print(X_new.shape)

import numpy as np
    from sklearn.feature_selection import SelectFromModel
    from sklearn.ensemble import GradientBoostingClassifier
    from sklearn import  datasets
    
    iris=datasets.load_iris()
    
    #带L1惩罚项的逻辑回归作为基模型的特征选择
    model=SelectFromModel(GradientBoostingClassifier())
    model.fit_transform(iris.data, iris.target) #传入数据
    print(model.fit_transform(iris.data, iris.target))   #返回模型选择的变量的数据内容

# 四、将特征选择过程融入pipeline (Feature selection as part of a pipeline) #

特征选择常常被当作学习之前的一项预处理。在scikit-learn中推荐使用`sklearn.pipeline.Pipeline`:

from numpy import log1p
    from sklearn.preprocessing import Imputer
    from sklearn.preprocessing import OneHotEncoder
    from sklearn.preprocessing import FunctionTransformer
    from sklearn.preprocessing import Binarizer
    from sklearn.preprocessing import MinMaxScaler
    from sklearn.feature_selection import SelectKBest
    from sklearn.feature_selection import chi2
    from sklearn.decomposition import PCA
    from sklearn.linear_model import LogisticRegression
    from sklearn.pipeline import Pipeline
    
    #新建计算缺失值的对象
    step1 = ('Imputer', Imputer())
    #新建将部分特征矩阵进行定性特征编码的对象
    step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False))
    #新建将部分特征矩阵进行对数函数转换的对象
    step2_2 = ('ToLog', FunctionTransformer(log1p))
    #新建将部分特征矩阵进行二值化类的对象
    step2_3 = ('ToBinary', Binarizer())
    #新建部分并行处理对象，返回值为每个并行工作的输出的合并
    step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]]))
    #新建无量纲化对象
    step3 = ('MinMaxScaler', MinMaxScaler())
    #新建卡方校验选择特征的对象
    step4 = ('SelectKBest', SelectKBest(chi2, k=3))
    #新建PCA降维的对象
    step5 = ('PCA', PCA(n_components=2))
    #新建逻辑回归的对象，其为待训练的模型作为流水线的最后一步
    step6 = ('LogisticRegression', LogisticRegression(penalty='l2'))
    #新建流水线处理对象
    #参数steps为需要流水线处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象
    pipeline = Pipeline(steps=[step1, step2, step3, step4, step5, step6])

在此代码片段中，将　sklearn.svm.LinearSVC 和 sklearn.feature\_selection.SelectFromModel 结合来评估特征的重要性，并选择最相关的特征。之后 sklearn.ensemble.RandomForestClassifier 模型使用转换后的输出训练，即只使用被选出的相关特征。你可以选择其它特征选择方法，或是其它提供特征重要性评估的分类器。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70][]

6、参考:

1.  [使用sklearn优雅地进行数据挖掘][sklearn]
2.  [使用sklearn做单机特征工程][sklearn 1]
3.  [特征选择 (feature\_selection)][_feature_selection]

[https_mp.csdn.net_postedit_101861846]: https://mp.csdn.net/postedit/101861846
[https_blog.csdn.net_s294878304_article_details_101864801]: https://blog.csdn.net/s294878304/article/details/101864801
[f_regrssion]: http://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.f_regression.html
[pipeline]: http://scikit-learn.org/stable/modules/generated/sklearn.pipeline.Pipeline.html
[sample plots]: http://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Correlation_examples2.svg/506px-Correlation_examples2.svg.png
[Anscombe_s quartet]: http://www.matrix67.com/blog/archives/2308
[20191002001457562.png]: /images/20230808/c4ab9e18f6ce4d76a1126c11802d510e.png
[minepy]: http://minepy.readthedocs.io/en/latest/
[Sparse recovery_ feature selection for sparse linear models]: http://sklearn.lzjqsdd.com/auto_examples/linear_model/plot_sparse_recovery.html#example-linear-model-plot-sparse-recovery-py
[N. Meinshausen_ P. Buhlmann_ _Stability selection_ Journal of the Royal Statistical Society_ 72 _2010]: http://arxiv.org/pdf/0809.2932
[Bach_ _Model-Consistent Sparse Estimation through the Bootstrap]: http://hal.inria.fr/hal-00354771/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70]: /images/20230808/4f34603553ab45ffade015076dcec064.png
[sklearn]: https://www.cnblogs.com/jasonfreak/p/5448462.html
[sklearn 1]: https://www.cnblogs.com/jasonfreak/p/5448385.html#3601031
[_feature_selection]: https://www.cnblogs.com/stevenlk/p/6543628.html