数据分析与挖掘中常用Python库的介绍与实践案例

梦里梦外; 2023-06-25 13:26 9阅读 0赞

**数据分析与挖掘中常用Python库的介绍与实践案例**

**一、Python介绍**

现在python一词对我们来说并不陌生，尤其是在学术圈，它的影响力远超其它任何一种编程语言， 作为一门简单易学且功能强大的编程语言，它拥有丰富的第三方库，在许多方面都有着广泛的应用，如网站开发、游戏开发、网络爬虫、数据分析、机器学习等。(更好的阅读体验，请移步我的[个人博客][Link 1])  
       在数据分析方面，python拥有Numpy、SciPy、Pandas、Matplotlib等功能强大的模块可供使用。随着这些模块的逐步完善，python在科学领域的地位越来越重要，这其中包括科学计算、数学建模、数据挖掘等。因此，掌握这些模块的基本使用方法至关重要，下面就逐一介绍下。

**二、常用库的使用示例**

**2.1 NumPy 库：**  
     NumPy([官网][Link 2])提供了N维数组功能以及对数据进行快速处理的能力，弥补了Python本身没有提供数组功能的缺陷。其提供了两种基本的对象：ndarray和ufunc。ndarray是存储单一数据类型的多维数组，而ufunc是能够对数组进行处理的函数（ufunc（通用函数）是一种对ndarray中的数据执行元素级运算的函数）。它也是SciPy、Pandas、Matplotlib的基础依赖库。  
     ndarray：N维数组对象（矩阵），所有元素数据类型必须是相同的。  
     ndarray属性：ndim属性，表示维度的个数；shape属性，表示各维度得大小；dtype属性，表示数据类型。  
     创建ndarray数组的函数如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx_size_16_color_FFFFFF_t_70][]

代码示例：

import numpy as np
    
    # 一维数组示例
    a = np.array([3, 2, 1, 6, 5])
    print('数组a: ', a)  # 数组a:  [3 2 1 6 5]
    print(a[:3])  # [3 2 1]
    print(a[2:])  # [1 6 5]
    print('ufunc函数使用示例，求平方: ', np.square(a))  # ufunc函数使用示例，求平方:  [ 9  4  1 36 25]
    a.sort()
    print('排序之后的数组a: ', a)  # 排序之后的数组a:  [1 2 3 5 6]
    
    # 二维数组示例
    b = np.array([[1, 2, 3], [6, 7, 8], [10, 11, 12]])
    print('\n 二维数组b: ', b)  # 二维数组b:  [[ 1  2  3] [ 6  7  8] [10 11 12]]
    print('矢量运算结果(所有元素 * 2): \n', 2 * b)  # 矢量运算结果(所有元素 * 2):  [[ 2  4  6] [12 14 16] [20 22 24]]
    print(b.dtype)  # int32
    
    # arange([start,] stop[, step,], dtype=None) 四个参数，其中start，step，dtype可以省略，分别是起始点、步长、和返回类型。
    c = np.arange(5)  # 起始点0，结束点5，步长1，返回类型array，一维
    print('\narrange函数生成的数组：', c)  # arrange函数生成的数组： [0 1 2 3 4]
    # zeros函数
    d = np.zeros(5, dtype='int8')
    print('zero函数生成的数组: ', d)  # zero函数生成的数组:  [0 0 0 0 0]

**  2.2 SciPy 库：  
   **SciPy([官网][Link 3])依赖于NumPy，其提供了矩阵支持以及大量基于矩阵运算的对象和函数。SciPy包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学和工程中常用的计算，这些功能是科学工程领域建模和数据挖掘中必须具备的。

<table>  SciPy中常用的八个模块(除此之外还有其他模块，在官网查询即可)  
 <tbody> 
  <tr> 
   <td>模块名称</td> 
   <td>scipy.integrate</td> 
   <td>scipy.linalg</td> 
   <td>scipy.optimize</td> 
   <td>scipy.signal</td> 
   <td>scipy.sparse</td> 
   <td>scipy.stats</td> 
   <td>scipy.weave</td> 
   <td>scipy.special</td> 
  </tr> 
  <tr> 
   <td>应用说明</td> 
   <td>数值积分例程和微分方程求解器</td> 
   <td>扩展了由 numpy.linalg 提供的线性代数例程和矩阵分解功能</td> 
   <td>函数优化器（最小化器）以及根查找算法</td> 
   <td>信号处理工具</td> 
   <td>稀疏矩阵和稀疏线性系统求解器</td> 
   <td>检验连续和离散概率分布、各种统计检验方法，以及更好的描述统计法</td> 
   <td>利用内联 C++代码加速数组计算的工具</td> 
   <td>SPECFUN（这是一个实现了许多常用数学函数的 Fortran 库）的包装器</td> 
  </tr> 
 </tbody> 
</table>

代码示例：

import numpy as np
    from scipy import integrate
    from scipy.optimize import fsolve
    
    # 求解积分
    def f(x):
        return x
    val, abserr = integrate.quad(f, 0, 1)  # 积分结果和误差
    print(val, abserr)  # 0.5 5.551115123125783e-15
    
    # 求解方程组 2x1 - x^2 = 1, x1^2 -x2 = 2
    def g(x):
        x1 = x[0]
        x2 = x[1]
        return np.array([2 * x1 - x2 ** 2 - 1, x1 ** 2 - x2 - 2])
    result = fsolve(g, [1, 1])  # 输入初始值，并进行求解
    print(result)  # [1.91963957 1.68501606]

**     2.3 Pandas 库：  
   **  Pandas([官网][Link 4])是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。pandas最初作为金融分析工具被开发，2008年问世，2009年底开源。  
     Pandas的基本数据结构是Series和DataFrame，Series是一种类似于一维数组的对象，是由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)组成。仅由一组数据也可产生简单的Series对象。DataFrame是Pandas中的一个表格型的数据结构，包含有一组有序的列，每列可以是不同的值类型(数值、字符串、布尔型等)，DataFrame即有行索引也有列索引，可以被看做是由Series组成的字典。

2.3.1 Series和DataFrame对象的创建，元素的选取：

import pandas as pd
    from pandas import Series, DataFrame
    
    a = pd.Series([1, 2, 3, 4])  # 默认的索引
    b = Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])  # 显示的添加index
    print('Series A : \n', a)
    print('Series B : \n', b)

![20191230155213969.png][]

c = pd.DataFrame({'categorical': pd.Categorical(['d', 'e', 'f', 'm']), 'test': [4, 6, 9, 3], 'numeric': [1, 2, 3, 6],
                      'object': ['a', 'b', 'c', 'd']})
    print('输出C：\n', c)
    print('简要统计结果: \n', c.describe())  # 统计结果
    print('输出前两行：\n', c.head(2))  # 输出前两行
    print('C 的转置：\n', c.T)  # C 的转置
    print('输出 2-3行：\n', c[2:4])  # 输出2-3行
    print('loc,选取 categorical、test 这两列的前三行行数据： \n', c.loc[:2, ('categorical', 'test')])
    print('iloc,选择某行某列的值：\n', c.iloc[2,2])  # iloc[]方法的参数，必须是数值。
    print('iloc,选择前两行，前两列的数据：\n', c.iloc[:2, 0:2])

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx_size_16_color_FFFFFF_t_70 2][]

2.3.2 Pandas处理文件读写：

# pandas处理文件读写非常的简单
    pd.read_csv('C:\\Users\\itour\\Desktop\\credit_card.csv', encoding='utf-8')
    pd.to_csv('C:\\Users\\itour\\Desktop\\credit_card.csv', encoding='utf-8')
    
    pd.read_excel('C:\\Users\\itour\\Desktop\\credit_card.xlsx','Sheet1')
    pd.to_excel('C:\\Users\\itour\\Desktop\\credit_card.xlsx',sheet_name='Sheet1')

**2.4 Matplotlib 库：**  
       不管是数据挖掘还是数学建模，最终结果的可视化展示都是需要面对的一个问题，Matplotlib([官网][Link 5])是Python中最为成熟的绘图库，主要用于绘制2D图形，可以很方便的绘制直方图、散点图、条形图、饼状图、折线图等等。同时，还可以绘制一些界面可交互的图形。  
       首先绘图需要导入matplotlib.pyplot，其中pyplot是matplotlib的绘图框架。  
       代码示例如下（要注意中文的显示问题）：

import matplotlib.pyplot as plt
    import numpy as np
    import pandas as pd
    
    x = np.linspace(0, 2 * np.pi, 50)
    y = np.sin(x)
    
    plt.rcParams['font.sans-serif'] = ['SimHei']  # 显示中文标签
    plt.rcParams['font.family'] = 'sans-serif'
    plt.rcParams['axes.unicode_minus'] = False   # 解决负号'-'显示为方块的问题
    plt.figure(figsize=(8,4))
    plt.plot(x, y, 'bp--')
    plt.xlabel('自变量x')  # x轴标签
    plt.ylabel('sin(x)')  # y轴标签
    plt.title('y = sin(x) x∈[0,2*pi]')  # 标题
    plt.legend()  #图例
    plt.show()  #显示图像

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx_size_16_color_FFFFFF_t_70 3][]

**2.5 scikit-learn 库：  
       **scikit-learn是Python下强大的机器学习包，提供了完善的机器学习工具集，包括有数据预处理、分类、回归、聚类、预测、模型分析等。训练模型的具体方法，会在后面的博客中陆续的写出来。

**三、总结**

以上几个库，是提升Python作为数据分析生产力工具的基础，因此，如果想用Python做这类工作，这些库是必须要熟练掌握的。

用Python进行数据分析，得益于这些扩展包的存在，实现起来高效便捷。有时候一些科研人员并不是专门从事编程领域工作的，如果为了实现某一个数据分析任务，需要专门学习一种语言，那Python是当之无愧的首选，真的很简单的一门编程语言，上手容易，语法灵活，不用关注太多语法细节，只需要专心科研任务本身即可。虽然其他的编程语言也可以实现相同的功能，但是操作起来较为复杂，会花费很多不必要的精力在非核心工作上面。

[Link 1]: https://www.meijindong.top/posts/2679161131.html
[Link 2]: https://numpy.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191230090618833.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx,size_16,color_FFFFFF,t_70
[Link 3]: https://www.scipy.org/
[Link 4]: https://pandas.pydata.org/
[20191230155213969.png]: https://img-blog.csdnimg.cn/20191230155213969.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191230155444631.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191230155512182.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx,size_16,color_FFFFFF,t_70
[Link 5]: https://matplotlib.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191230171212348.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NzU0MDYx,size_16,color_FFFFFF,t_70