特征选择_过滤特征选择

野性酷女 2022-05-14 03:19 320阅读 0赞

# 一：方差选择法：   使用方差作为特征评分标准，如果某个特征的取值差异不大，通常认为该特征对区分样本的贡献度不大   因此在构造特征过程中去掉方差小于阈值特征 #

from sklearn.datasets import  load_iris
    iris=load_iris()
    print('iris特征名称\n',iris.feature_names)
    print('iris特征矩阵\n',iris.data)
    
    #特征选择——方差选择法
    from sklearn.feature_selection import  VarianceThreshold
    vt = VarianceThreshold(threshold = 1)#threshold为方差的阈值，默认为0
    vt = vt.fit_transform(iris.data)#函数返回值为特征选择后的特征
    print('方差选择法选择的特征\n',vt)
    #小结：只保留第三列，其他的都去掉了

## 二.单变量特征选择   采用 卡方检验法（相关性）（分类问题）   使用统计量卡方检验作为特征评分标准，   卡方检验值越大，相关性越强（卡方检验是评判定性自变量对定性变量相关性的统计量） ##

#载入数据
    from sklearn.datasets import load_iris
    iris = load_iris()
    
    #特征选择
    from sklearn.feature_selection import SelectKBest #移除topK外的特征
    from sklearn.feature_selection import  chi2 #卡方检验
    
    skb = SelectKBest(chi2,k=2)
    new_data  = skb.fit_transform(iris.data,iris.target)
    new_data
    #保留了第三列，第四列，其他的都去掉

## 三.单变量特征选择   采用 皮尔森相关系数法（相关性）（回归问题）   使用pearson系数作为特征评分标准。   相关系数绝对值越大，相关性越强（相关系数越接近1或-1时，相关系越强；相关系数越接近0时，相关性越弱）   特点：皮尔森相关系数能够衡量线性相关的特征集 ##

#载入数据
    from sklearn.datasets import load_iris
    irisdata = load_iris()
    
    #特征选择
    from sklearn.feature_selection import SelectKBest #移除topK外的特征
    from scipy.stats import pearsonr   #计算皮尔森相关系数
    from numpy import array
    
    '''
    函数返回值：保留topk特征，移除topk外的特征
    #第一个参数：皮尔森相关系数（输入特征矩阵和目标向量，输入二元组（评分，p），二数组第i项为第i个特征的评分和p值）
    #第二个参数：topk个数
    '''
    skb = SelectKBest(lambda X,Y:tuple(map(tuple,array(list(map(lambda x:pearsonr(x,Y),X.T))).T)),k=3)
    skb = skb.fit_transform(irisdata.data,irisdata.target)
    skb
    #保留三个特征