python DictVectorizer 两个坑(无用字段和数字类型)

柔情只为你懂 2022-12-27 08:45 19阅读 0赞

功能描述：载入一些数据，然后将其中的字符串转换为数字。  
注意：我这里使用，是一种one-hot的思想，或者可以理解为词袋或二进制。例如：笔有三类：钢笔、铅笔、毛笔。那么就可以用三位是二进制数来表示，那么钢笔100，铅笔010，毛笔001. 这里有个很明显的缺点，当你的类型很多时，数据就会很稀疏。

先看源码：（数据和转换请看我[上一篇博文][Link 1]）

#判断是否为数字
    def is_number(s):
        try:
            float(s)
            return True
        except ValueError:
            pass
     
        try:
            import unicodedata
            unicodedata.numeric(s)
            return True
        except (TypeError, ValueError):
            pass
     
        return False
        
    def load_data(filepath,delete_columns):
        data= []  
        with open(filepath) as ifile:  
            for line in ifile:
                rowList = {}#需要是字典形式，因为之后需要使用DictVectorizer()
                tokens = line.strip().split(',')
                
                columns_lenth=len(tokens)
                row_label=np.linspace(0, columns_lenth-1,columns_lenth, endpoint=True)
                for i in range(columns_lenth):
                    
                    #删除列0,数据库的登录号
                    is_delete=False
                    for delete in delete_columns:
                        if i==delete:
                            is_delete=True
                            break
                    if is_delete:continue
                
                    token=tokens[i]
                    if is_number(token):
                        token=float(token)
                    rowList[str(row_label[i])]=token
                data.append(rowList)
             
        x = np.array(data)
        vec = DictVectorizer()#转换字符串数据类型
        
        dx = vec.fit_transform(x).toarray()
        
        # 查看提取后特征的含义
        print(vec.get_feature_names())
        
        return dx
    
    
    if __name__=='__main__':
        delete_columns=[0]
        dataset=load_data("data/yeast.data",delete_columns)
        print(dataset[0])

在这里有两个地方需要注意：  
1.传参时，我增加了delete\_columns参数，是因为这个是类似与ID的值，我这里分析不需要。并且这是唯一的，如果转换就会需要N（数据长度）长度是值进行表示。这是我遇到的第一坑，**即采用DictVectorizer转换字符串时，最好将无用的字段删除。**  
2.我这里使用了is\_number去判断数据类型是否为字符串，这是因为我在使用时发现，读进来的数据默认是字符串类型，因此DictVectorizer会对这些实际为数字的字符串进行转换，同样出现N个值表示的情况。那么第二个坑就是：**使用DictVectorizer时，如果数据类型本身是数字，请注意传入的数据类型。**

哈哈，希望能帮助到别人，但是也许只有我这么傻会遇到这样的问题吧，哈哈哈==

[Link 1]: https://blog.csdn.net/doubi1/article/details/110929740