sklearn中的几种二值化编码函数：OneHotEncoder, LabelEncoder , LabelBinarizer

桃扇骨 2022-05-19 03:14 356阅读 0赞

### 1.自定义一些简单的数据集 ###

定义3个特征， age 和 salary 都是数值型， pet 是字符串型

#coding=gbk
    #几种sklearn 中的二值化编码函数，
    import pandas as pd
    import numpy as np
    from sklearn.preprocessing import OneHotEncoder
    from sklearn.preprocessing import LabelEncoder
    from sklearn.preprocessing import LabelBinarizer
    from sklearn.preprocessing import MultiLabelBinarizer
    
    columns = ['pet','age','salary']
    data = pd.DataFrame([['cat','dog','dog','fish'],[4,6,3,3],[4,5,1,1]])
    data = data.T   #对二维数组进行转置
    data.columns = columns
    print(data)
    #     pet age salary
    # 0   cat   4      4
    # 1   dog   6      5
    # 2   dog   3      1
    # 3  fish   3      1

### 2.对数值型变量二值化 ###

使用OneHotEncoder 函数

> **注意： sklearn 的新版本中，OneHotEncoder 的输入必须是 2-D array**

#1. OneHotEncoder 独热编码的使用
    #True 则返回一个array， False 则返回matrix矩阵
    onehot_age = OneHotEncoder(sparse=False).fit_transform(data[['age']]) 
     
    print(data['age'].shape)    #(4,)
    print(data[['age']].shape)  #(4, 1)
    #由于 OneHotEncoder 的编码必须是 2-D array ，而data.age 即 data['age']返回的是 1-D array，所以要改成上述的双中括号
    print(onehot_age)
    # [[0. 1. 0.]
    #  [0. 0. 1.]
    #  [1. 0. 0.]
    #  [1. 0. 0.]]
    
    onehot_salary = OneHotEncoder(sparse= False)._fit_transform(data[['salary']])   #两个输出都是一样的
    output = np.hstack((onehot_age, onehot_salary))  #记住括号是双括号,使其在列上合并
    print(output)
    # [[0. 1. 0. 0. 1. 0.]
    #  [0. 0. 1. 0. 0. 1.]
    #  [1. 0. 0. 1. 0. 0.]
    #  [1. 0. 0. 1. 0. 0.]]
    # onehot_pet = OneHotEncoder(sparse=False).fit_transform(data[['pet']]) 不能直接对字符串的类别进行编码
    test = OneHotEncoder(sparse=False).fit_transform(data[['age','salary']])
    print(test) #可以同时输入两个特征值,可以接受多列输入
    # [[0. 1. 0. 0. 1. 0.]
    #  [0. 0. 1. 0. 0. 1.]
    #  [1. 0. 0. 1. 0. 0.]
    #  [1. 0. 0. 1. 0. 0.]]

### 3.对字符型变量二值化 ###

> 注意：OneHotEncoder无法直接对字符串型的类别变量编码

> 无论 **LabelEncoder()** 还是 **LabelBinarizer()**，他们在 sklearn 中的设计初衷，都是**为了解决标签 y的离散化**，而非输入X， 所以他们的输入被限定为 1-D array，这恰恰跟OneHotEncoder() 要求输入 2-D array 相左。

> 方法一 先用 LabelEncoder() 转换成连续的数值型变量，再用 OneHotEncoder() 二值化  
> \* 方法二 直接用 LabelBinarizer() 进行二值化

#2,对字符串类型二值化
    #方法1 使用 LabelEncoder + OneHotEncoder
    le_pet = LabelEncoder().fit_transform(data.pet)
    print(le_pet)   #[0 1 1 2]
    print(le_pet.shape) # (4,) 是一维数组
    print(le_pet.reshape(-1,1).shape) # (4, 1) 将其转换成 4 行 1列
    oe_pet = OneHotEncoder(sparse=False).fit_transform(le_pet.reshape(-1,1))
    print(oe_pet)
    # [[1. 0. 0.]
    #  [0. 1. 0.]
    #  [0. 1. 0.]
    #  [0. 0. 1.]]
    
    #方法2 直接使用 labelBinarizer ，设计是为了解决y 的离散化的
    lb_pet = LabelBinarizer().fit_transform(data.pet)
    print(lb_pet)   #同样可以得到同样的输出,只是 dtype 不相同
    # [[1 0 0]
    #  [0 1 0]
    #  [0 1 0]
    #  [0 0 1]]
    
    print('-----')
    mb = MultiLabelBinarizer().fit_transform(data[['age','salary']].values)
    print(mb)
    # [[0 0 1 0 0]
    #  [0 0 0 1 1]
    #  [1 1 0 0 0]
    #  [1 1 0 0 0]]

### 4使用 pandas 自带的 get\_dummies 函数 ###

#使用 pandas 自带的 get_dummies 函数
    gd = pd.get_dummies(data, columns = columns)
    print(gd)
    #  pet_cat  pet_dog  pet_fish  age_3  age_4  age_6  salary_1  salary_4  \ .....
    # 0        1        0         0      0      1      0         0         1   
    # 1        0        1         0      0      0      1         0         0   
    # 2        0        1         0      1      0      0         1         0   
    # 3        0        0         1      1      0      0         1         0

> get\_dummies的优势：  
> \* 1.本身就是 pandas 的模块，所以对 DataFrame 类型兼容很好.  
> \* 2.无论你的列是字符型还是数字型都可以进行二值编码.  
> \* 3.能根据用户指定，自动生成二值编码后的变量名.

> get\_dummies无法像 sklearn 的transformer一样可以输入到pipeline中 进行流程化地机器学习过程， 而且get\_dummies 不像 sklearn 的 transformer一样，有 transform方法，所以一旦测试集中出现了训练集未曾出现过的特征取值，简单地对测试集、训练集都用 get\_dummies 方法将导致数据错误。

--------------------

### 项目推荐： ###

**[2000多G的计算机各行业电子资源分享（持续更新）][2000_G]**

**[2020年微信小程序全栈项目之喵喵交友【附课件和源码】][2020]**

**[Spring Boot开发小而美的个人博客【附课件和源码】][Spring Boot]**

**[Java微服务实战296集大型视频-谷粒商城【附代码和课件】][Java_296_-]**

**[Java开发微服务畅购商城实战【全357集大项目】-附代码和课件][Java_357_-]**

**[最全最详细数据结构与算法视频-【附课件和源码】][-]**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70_pic_center]

参考：[http://blog.csdn.net/haramshen/article/details/53169963][http_blog.csdn.net_haramshen_article_details_53169963]

[2000_G]: https://mp.weixin.qq.com/s/sP4JgGWkCzpgwKr9sAV2_Q
[2020]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487704&idx=1&sn=5f4b2127c4d49fd07ae072a0721424a2&chksm=e8036fc2df74e6d489c4aa9b06f917ef7cee6027f13e150fca53cf79d5d188d4ccc1af49e098&scene=21#wechat_redirect
[Spring Boot]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487798&idx=2&sn=ac0293b996521b872a9dba5fbb3e65e6&chksm=e8036e2cdf74e73aba104a9a994a5b2e31483e8dcbe0f1d9936f6d5173b887e1560f59d2819c&scene=21#wechat_redirect
[Java_296_-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487674&idx=1&sn=7aff0bdf2bb727303f3d3618995aef21&chksm=e8036fa0df74e6b6d872c7e6ece179c524ed463a4a6b74c96875475c9a3d5ddb903427dd993b&scene=21#wechat_redirect
[Java_357_-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247486376&idx=1&sn=d1fef270c463ea8ac663f6fbfedd70a0&chksm=e80374b2df74fda4d3bafba878a106a19e18c5fcda266008f4f37975847a21bc612ffcd5ff39&scene=21#wechat_redirect
[-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487750&idx=1&sn=747bccbb5f5ea6b58915198de40da777&chksm=e8036e1cdf74e70ae97a5e8e265b49d7236d904d291203309159d07ba1724033062c0e370843&scene=21#wechat_redirect
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70_pic_center]: /images/20220519/808cbf91b45a499a92349233881835c9.png
[http_blog.csdn.net_haramshen_article_details_53169963]: http://blog.csdn.net/haramshen/article/details/53169963