[ML-04] Numpy-1

傷城~ 2022-11-26 01:42 97阅读 0赞

## 一、Numpy的优势 ##

### 1 Numpy介绍 ###

![在这里插入图片描述][20200810043229214.png]  
Numpy（Numerical Python）是一个开源的Python科学计算库，**用于快速处理任意维度的数组**。

Numpy**支持常见的数组和矩阵操作**。对于同样的数值计算任务，使用Numpy比直接使用Python要简洁的多。

Numpy**使用ndarray对象来处理多维数组**，该对象是一个快速而灵活的大数据容器。

### 2 ndarray介绍 ###

NumPy provides an N-dimensional array type, the ndarray, 
    which describes a collection of “items” of the same type.

NumPy提供了一个**N维数组类型ndarray**，它描述了**相同类型**的“items”的集合。

![在这里插入图片描述][20200810043307237.png]

用ndarray进行存储：

import numpy as np
    
    # 创建ndarray
    score = np.array(
    [[80, 89, 86, 67, 79],
    [78, 97, 89, 67, 81],
    [90, 94, 78, 67, 74],
    [91, 91, 90, 67, 69],
    [76, 87, 75, 67, 86],
    [70, 79, 84, 67, 84],
    [94, 92, 93, 67, 64],
    [86, 85, 83, 67, 80]])
    
    score

返回结果：

array([[80, 89, 86, 67, 79],
           [78, 97, 89, 67, 81],
           [90, 94, 78, 67, 74],
           [91, 91, 90, 67, 69],
           [76, 87, 75, 67, 86],
           [70, 79, 84, 67, 84],
           [94, 92, 93, 67, 64],
           [86, 85, 83, 67, 80]])

### 3 ndarray与Python原生list运算效率对比 ###

在这里我们通过一段代码运行来体会到ndarray的好处

import random
    import time
    import numpy as np
    a = []
    for i in range(100000000):
        a.append(random.random())
    
    # 通过%time魔法方法, 查看当前行的代码运行一次所花费的时间
    %time sum1=sum(a)
    
    b=np.array(a)
    
    %time sum2=np.sum(b)

其中第一个时间显示的是使用原生Python计算时间,第二个内容是使用numpy计算时间:

CPU times: user 852 ms, sys: 262 ms, total: 1.11 s
    Wall time: 1.13 s
    CPU times: user 133 ms, sys: 653 µs, total: 133 ms
    Wall time: 134 ms

从中我们看到ndarray的计算速度要快很多，节约了时间。

**机器学习的最大特点就是大量的数据运算**，那么如果没有一个快速的解决方案，那可能现在python也在机器学习领域达不到好的效果。

![在这里插入图片描述][20200810043331154.png]

Numpy专门针对ndarray的操作和运算进行了设计，所以数组的存储效率和输入输出性能远优于Python中的嵌套列表，数组越大，Numpy的优势就越明显。

### 4 ndarray的优势 ###

#### 4.1 内存块风格 ####

ndarray到底跟原生python列表有什么不同呢，请看一张图：

![在这里插入图片描述][20200810043351898.png]

从图中我们可以看出ndarray在存储数据的时候，数据与数据的地址都是连续的，这样就给使得批量操作数组元素时速度更快。

这是因为ndarray中的所有元素的类型都是相同的，而Python列表中的元素类型是任意的，所以ndarray在存储元素时内存可以连续，而python原生list就只能通过寻址方式找到下一个元素，这虽然也导致了在通用性能方面Numpy的ndarray不及Python原生list，但在科学计算中，Numpy的ndarray就可以省掉很多循环语句，代码使用方面比Python原生list简单的多。

#### 4.2 ndarray支持并行化运算（向量化运算） ####

numpy内置了并行运算功能，当系统有多个核心时，做某种计算时，numpy会自动做并行计算

#### 4.3 效率远高于纯Python代码 ####

Numpy底层使用C语言编写，内部解除了GIL（全局解释器锁），其对数组的操作速度不受Python解释器的限制，所以，其效率远高于纯Python代码。

## 二、N维数组-ndarray ##

### 1 ndarray的属性 ###

数组属性反映了数组本身固有的信息。

<table> 
 <thead> 
  <tr> 
   <th align="center">属性名字</th> 
   <th align="center">属性解释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">ndarray.shape</td> 
   <td align="center">数组维度的元组</td> 
  </tr> 
  <tr> 
   <td align="center">ndarray.ndim</td> 
   <td align="center">数组维数</td> 
  </tr> 
  <tr> 
   <td align="center">ndarray.size</td> 
   <td align="center">数组中的元素数量</td> 
  </tr> 
  <tr> 
   <td align="center">ndarray.itemsize</td> 
   <td align="center">一个数组元素的长度（字节）</td> 
  </tr> 
  <tr> 
   <td align="center">ndarray.dtype</td> 
   <td align="center">数组元素的类型</td> 
  </tr> 
 </tbody> 
</table>

### 2 ndarray的形状 ###

首先创建一些数组。

# 创建不同形状的数组
    >>> a = np.array([[1,2,3],[4,5,6]])
    >>> b = np.array([1,2,3,4])
    >>> c = np.array([[[1,2,3],[4,5,6]],[[1,2,3],[4,5,6]]])

分别打印出形状

>>> a.shape
    >>> b.shape
    >>> c.shape
    
    (2, 3)  # 二维数组
    (4,)    # 一维数组
    (2, 2, 3) # 三维数组

如何理解数组的形状？

二维数组：

![在这里插入图片描述][20200810043423682.png]

三维数组：

![在这里插入图片描述][20200810043441742.png]

### 3 ndarray的类型 ###

>>> type(score.dtype)
    
    <type 'numpy.dtype'>

dtype是numpy.dtype类型，先看看对于数组来说都有哪些类型

<table> 
 <thead> 
  <tr> 
   <th align="center">名称</th> 
   <th align="center">描述</th> 
   <th align="center">简写</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">np.bool</td> 
   <td align="center">用一个字节存储的布尔类型（True或False）</td> 
   <td align="center">‘b’</td> 
  </tr> 
  <tr> 
   <td align="center">np.int8</td> 
   <td align="center">一个字节大小，-128 至 127</td> 
   <td align="center">‘i’</td> 
  </tr> 
  <tr> 
   <td align="center">np.int16</td> 
   <td align="center">整数，-32768 至 32767</td> 
   <td align="center">‘i2’</td> 
  </tr> 
  <tr> 
   <td align="center">np.int32</td> 
   <td align="center">整数，-2^31 至 2^32 -1</td> 
   <td align="center">‘i4’</td> 
  </tr> 
  <tr> 
   <td align="center">np.int64</td> 
   <td align="center">整数，-2^63 至 2^63 - 1</td> 
   <td align="center">‘i8’</td> 
  </tr> 
  <tr> 
   <td align="center">np.uint8</td> 
   <td align="center">无符号整数，0 至 255</td> 
   <td align="center">‘u’</td> 
  </tr> 
  <tr> 
   <td align="center">np.uint16</td> 
   <td align="center">无符号整数，0 至 65535</td> 
   <td align="center">‘u2’</td> 
  </tr> 
  <tr> 
   <td align="center">np.uint32</td> 
   <td align="center">无符号整数，0 至 2^32 - 1</td> 
   <td align="center">‘u4’</td> 
  </tr> 
  <tr> 
   <td align="center">np.uint64</td> 
   <td align="center">无符号整数，0 至 2^64 - 1</td> 
   <td align="center">‘u8’</td> 
  </tr> 
  <tr> 
   <td align="center">np.float16</td> 
   <td align="center">半精度浮点数：16位，正负号1位，指数5位，精度10位</td> 
   <td align="center">‘f2’</td> 
  </tr> 
  <tr> 
   <td align="center">np.float32</td> 
   <td align="center">单精度浮点数：32位，正负号1位，指数8位，精度23位</td> 
   <td align="center">‘f4’</td> 
  </tr> 
  <tr> 
   <td align="center">np.float64</td> 
   <td align="center">双精度浮点数：64位，正负号1位，指数11位，精度52位</td> 
   <td align="center">‘f8’</td> 
  </tr> 
  <tr> 
   <td align="center">np.complex64</td> 
   <td align="center">复数，分别用两个32位浮点数表示实部和虚部</td> 
   <td align="center">‘c8’</td> 
  </tr> 
  <tr> 
   <td align="center">np.complex128</td> 
   <td align="center">复数，分别用两个64位浮点数表示实部和虚部</td> 
   <td align="center">‘c16’</td> 
  </tr> 
  <tr> 
   <td align="center">np.object_</td> 
   <td align="center">python对象</td> 
   <td align="center">‘O’</td> 
  </tr> 
  <tr> 
   <td align="center">np.string_</td> 
   <td align="center">字符串</td> 
   <td align="center">‘S’</td> 
  </tr> 
  <tr> 
   <td align="center">np.unicode_</td> 
   <td align="center">unicode类型</td> 
   <td align="center">‘U’</td> 
  </tr> 
 </tbody> 
</table>

**创建数组的时候指定类型**

>>> a = np.array([[1, 2, 3],[4, 5, 6]], dtype=np.float32)
    >>> a.dtype
    dtype('float32')
    
    >>> arr = np.array(['python', 'tensorflow', 'scikit-learn', 'numpy'], dtype = np.string_)
    >>> arr
    array([b'python', b'tensorflow', b'scikit-learn', b'numpy'], dtype='|S12')

*  注意：若不指定，整数默认int64，小数默认float64

[20200810043229214.png]: /images/20221124/59dc1c56bccf4e85a841cf994e06d1ad.png
[20200810043307237.png]: /images/20221124/c732d93a664d41d092a27d6dfbdd6689.png
[20200810043331154.png]: /images/20221124/ed358f026f544d76bc4adad63984a4f8.png
[20200810043351898.png]: /images/20221124/2ef8eefd42ce4811822511dd7f998809.png
[20200810043423682.png]: /images/20221124/b8cdf3f23b4b481bb7e7aa5174036f88.png
[20200810043441742.png]: /images/20221124/5c5368d671b74f9f88b4bae0852772a3.png