python机器学习——机器学习相关概念 & 特征工程

本是古典何须时尚 2023-10-12 19:38 74阅读 0赞

#### 目录 ####

*  机器学习
 *  特征工程
 *  1.特征抽取
 *  2.特征处理
 *   *  2.1 归一化：传统精确小数据
     *  2.2 标准化：大多数情况
 *  3.数据降维
 *   *  3.1特征选择
     *  3.2主成分分析PCA
 *  案例：超市订单分析

--------------------

## 机器学习 ##

![在这里插入图片描述][9e9ee935692f40378c23c6d95dbf8aab.png]  
![在这里插入图片描述][5e4f7fd9d0c846ae82a3cd55eb2b5537.png]  
![在这里插入图片描述][dfd0a55fc7844f908f25c05c33cb27d8.png]  
监督学习：输入数据有特征有标签，即有标准答案

*  分类：k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络
 *  回归：线性回归、岭回归
 *  标注：隐马尔可夫模型 (不做要求)

无监督学习：输入数据有特征无标签，即无标准答案

*  聚类：k-means
 *

![在这里插入图片描述][d12463e85ff042f2b1ef9c9d831b234a.png]  
![在这里插入图片描述][1ffb667901cf43e0be3e260874140c57.png]

## 特征工程 ##

特征工程是将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对未知数据的模型准确性

![在这里插入图片描述][11baea70b72143b5a4f4e307ad47b88e.png]

## 1.特征抽取 ##

通过演示得出结论：  
• 特征抽取针对非连续型数据  
• 特征抽取对文本等进行特征值化  
字典特征抽取：对字典数据进行特征值化  
One—hot编码

![在这里插入图片描述][f695f59cc52d4e9299c44379cfb8a231.png]

# 特征抽取
    # 导入包
    from sklearn.feature_extraction import DictVectorizer
    
    def dictves():
        """
        字典数据处理
        :return:小王
        """
        #实例化
        dict=DictVectorizer(sparse=False)
        #调用fit_transform
        data=dict.fit_transform([{
        'city': '北京','temperature':100},{
        'city': '上海','temperature':60},{
        'city': '深圳','temperature':30}])
        print(data)
        return None
    if __name__ == '__main__':
        dictves()

文本特征抽取：对文本数据进行特征值化

![在这里插入图片描述][07d878ef1d324368871c36a156b4fcdb.png]  
流程：

![在这里插入图片描述][67893fb2836b40369d3bad9a067330d5.png]

# 特征抽取
    # 导入包
    from sklearn.feature_extraction.text import CountVectorizer
    def dictves():
        """
        字典数据处理
        :return:小王
        """
        #实例化
        dict=CountVectorizer()
        #调用fit_transform
        data=dict.fit_transform(["life is short,i like python","life is too long,i dislike python"])
        print(data.toarray())#sprase矩阵转换成数组
        print(dict.get_feature_names())
        return None
    
    if __name__ == '__main__':
        dictves()

Jieba结巴分词：对三段话进行特征值化——流程

![在这里插入图片描述][7521d2240bcb49559bad26e65db14908.png]

# 特征抽取# 导入包
    from sklearn.feature_extraction.text import CountVectorizer
    import jieba
    
    def cutword():
        c11=jieba.cut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。")
        c21=jieba.cut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")
        c31=jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")
        #转换成列表
        content1 = list(c11)
        content2 = list(c21)
        content3 = list(c31)
        #列表转换成字符串
        c1 = ' '.join(content1)
        c2 = ' '.join(content2)
        c3 = ' '.join(content3)
        return c1,c2,c3
    
    def hanzivec():
        """
        中文特征值化
        :return:小王
        """
        #实例化
        c1,c2,c3=cutword()
        dict=CountVectorizer()
        #调用fit_transform
        data=dict.fit_transform([c1,c2,c3])
        print(dict.get_feature_names())
        print(data.toarray())#sprase矩阵转换成数组
        return None
    
    if __name__ == '__main__':
        hanzivec()

![在这里插入图片描述][893691ecdce4494592414e9426c5bdb6.png]  
TF-IDF作用：用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

![在这里插入图片描述][18a45387733b4ac29ceaa2d2e54f6cf0.png]

# 特征抽取# 导入包
    from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
    import jieba
    
    def cutword():
        c11=jieba.cut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。")
        c21=jieba.cut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")
        c31=jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")
        #转换成列表
        content1 = list(c11)
        content2 = list(c21)
        content3 = list(c31)
        #列表转换成字符串
        c1 = ' '.join(content1)
        c2 = ' '.join(content2)
        c3 = ' '.join(content3)
        return c1,c2,c3
    
    def hanzivec():
        """
        中文特征值化
        :return:小王
        """
        #实例化
        c1,c2,c3=cutword()
        dict=TfidfVectorizer()
        #调用fit_transform
        data=dict.fit_transform([c1,c2,c3])
        print(dict.get_feature_names())
        print(data.toarray())#sprase矩阵转换成数组
        return None
    
    if __name__ == '__main__':
        hanzivec()

## 2.特征处理 ##

![在这里插入图片描述][7b7a6dba3442410aa9e88f0ae5c6c78e.png]  
![在这里插入图片描述][066aefe111a747f2b15c9b0e73d92e9a.png]

### 2.1 归一化：传统精确小数据 ###

![在这里插入图片描述][2567055f2db54bf28bcd3bf253f8ab68.png]

from sklearn.preprocessing import MinMaxScaler
    def mm():
        """
        归一化处理
        :return: None
        """
        mm = MinMaxScaler(feature_range=(2, 3))
        data = mm.fit_transform([[90, 2, 10, 40], [60, 4, 15, 45], [75, 3, 13, 46]])
        print(data)
        return None
    if __name__ == '__main__':
        mm()

注意在特定场景下最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景。

![在这里插入图片描述][cd6032619de2430bb54536af0fbf83b1.png]

### 2.2 标准化：大多数情况 ###

![在这里插入图片描述][cf89ab5cdd6e4b7f96b51132deec8af0.png]  
![在这里插入图片描述][9fbf0561f4404259bfd89a976fb566da.png]  
在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。

## 3.数据降维 ##

维度：特征的数量

### 3.1特征选择 ###

特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选择了其中的一部分特征。

![在这里插入图片描述][1edb5973750848b2bfd6163f5edf5a12.png]![在这里插入图片描述][ddafc4f06ac0438aaec7cdcac9cf7e9e.png]

from sklearn.feature_selection import VarianceThreshold
    
    def seltz():
        """
           特征选择
           :return: None
           """
        mm = VarianceThreshold()
        data = mm.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])
        print(data)
        return None
    
    if __name__ == '__main__':
        seltz()

### 3.2主成分分析PCA ###

本质：PCA是一种分析、简化数据集的技术  
目的：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。  
作用：可以削减回归分析或者聚类分析中特征的数量

![在这里插入图片描述][07cd9371811841de9de18908a7eba1af.png]

from sklearn.decomposition import PCA
    
    def pcaz():
        """
           PCA
           :return: None
           """
        mm = PCA(n_components=0.94)
        data = mm.fit_transform([[2,8,4,5],[6,3,0,8],[5,4,9,1]])
        print(data)
        return None
    
    if __name__ == '__main__':
        pcaz()

## 案例：超市订单分析 ##

![在这里插入图片描述][3dc4d864a5f04d25910a29feddd576a2.png]  
![在这里插入图片描述][e4489afeab004eb19c016193b5bc1464.png]

import pandas as pd
    prior=pd.read_csv("F:\python\data\order_products__prior.csv")
    products=pd.read_csv("F:\python\data\products.csv")
    orders=pd.read_csv("F:\python\data\orders.csv")
    aisles=pd.read_csv("F:\python/data/aisles.csv")
    #合并四张表到一张表（用户——物品类别）
    data1=pd.merge(prior,products,on=["product_id","product_id"])
    data2=pd.merge(data1,orders,on=["order_id","order_id"])
    data=pd.merge(data2,aisles,on=["aisle_id","aisle_id"])
    #交叉表（特殊的分组工具）
    cross=pd.crosstab(data["use_id"],data["aisles"])

[9e9ee935692f40378c23c6d95dbf8aab.png]: https://img-blog.csdnimg.cn/9e9ee935692f40378c23c6d95dbf8aab.png
[5e4f7fd9d0c846ae82a3cd55eb2b5537.png]: https://img-blog.csdnimg.cn/5e4f7fd9d0c846ae82a3cd55eb2b5537.png
[dfd0a55fc7844f908f25c05c33cb27d8.png]: https://img-blog.csdnimg.cn/dfd0a55fc7844f908f25c05c33cb27d8.png
[d12463e85ff042f2b1ef9c9d831b234a.png]: https://img-blog.csdnimg.cn/d12463e85ff042f2b1ef9c9d831b234a.png
[1ffb667901cf43e0be3e260874140c57.png]: https://img-blog.csdnimg.cn/1ffb667901cf43e0be3e260874140c57.png
[11baea70b72143b5a4f4e307ad47b88e.png]: https://img-blog.csdnimg.cn/11baea70b72143b5a4f4e307ad47b88e.png
[f695f59cc52d4e9299c44379cfb8a231.png]: https://img-blog.csdnimg.cn/f695f59cc52d4e9299c44379cfb8a231.png
[07d878ef1d324368871c36a156b4fcdb.png]: https://img-blog.csdnimg.cn/07d878ef1d324368871c36a156b4fcdb.png
[67893fb2836b40369d3bad9a067330d5.png]: https://img-blog.csdnimg.cn/67893fb2836b40369d3bad9a067330d5.png
[7521d2240bcb49559bad26e65db14908.png]: https://img-blog.csdnimg.cn/7521d2240bcb49559bad26e65db14908.png
[893691ecdce4494592414e9426c5bdb6.png]: https://img-blog.csdnimg.cn/893691ecdce4494592414e9426c5bdb6.png
[18a45387733b4ac29ceaa2d2e54f6cf0.png]: https://img-blog.csdnimg.cn/18a45387733b4ac29ceaa2d2e54f6cf0.png
[7b7a6dba3442410aa9e88f0ae5c6c78e.png]: https://img-blog.csdnimg.cn/7b7a6dba3442410aa9e88f0ae5c6c78e.png
[066aefe111a747f2b15c9b0e73d92e9a.png]: https://img-blog.csdnimg.cn/066aefe111a747f2b15c9b0e73d92e9a.png
[2567055f2db54bf28bcd3bf253f8ab68.png]: https://img-blog.csdnimg.cn/2567055f2db54bf28bcd3bf253f8ab68.png
[cd6032619de2430bb54536af0fbf83b1.png]: https://img-blog.csdnimg.cn/cd6032619de2430bb54536af0fbf83b1.png
[cf89ab5cdd6e4b7f96b51132deec8af0.png]: https://img-blog.csdnimg.cn/cf89ab5cdd6e4b7f96b51132deec8af0.png
[9fbf0561f4404259bfd89a976fb566da.png]: https://img-blog.csdnimg.cn/9fbf0561f4404259bfd89a976fb566da.png
[1edb5973750848b2bfd6163f5edf5a12.png]: https://img-blog.csdnimg.cn/1edb5973750848b2bfd6163f5edf5a12.png
[ddafc4f06ac0438aaec7cdcac9cf7e9e.png]: https://img-blog.csdnimg.cn/ddafc4f06ac0438aaec7cdcac9cf7e9e.png
[07cd9371811841de9de18908a7eba1af.png]: https://img-blog.csdnimg.cn/07cd9371811841de9de18908a7eba1af.png
[3dc4d864a5f04d25910a29feddd576a2.png]: https://img-blog.csdnimg.cn/3dc4d864a5f04d25910a29feddd576a2.png
[e4489afeab004eb19c016193b5bc1464.png]: https://img-blog.csdnimg.cn/e4489afeab004eb19c016193b5bc1464.png