图解NumPy，这是理解数组最形象的一份教程了

小灰灰 2022-09-16 08:42 146阅读 0赞

##### 来源 : 机器之心 #####

> 本文用可视化的方式介绍了 NumPy 的功能和使用示例。

![7f71505d8df2c370f645bdfef20565fc.png][]

NumPy 软件包是 Python 生态系统中数据分析、机器学习和科学计算的主力军。它极大地简化了向量和矩阵的操作处理。Python 的一些主要软件包（如 scikit-learn、SciPy、pandas 和 tensorflow）都以 NumPy 作为其架构的基础部分。除了能对数值数据进行切片（slice）和切块（dice）之外，使用 NumPy 还能为处理和调试上述库中的高级实例带来极大便利。

本文将介绍使用 NumPy 的一些主要方法，以及在将数据送入机器学习模型之前，它如何表示不同类型的数据（表格、图像、文本等）。

import numpy as np

**创建数组**

我们可以通过传递一个 python 列表并使用 np.array（）来创建 NumPy 数组（极大可能是多维数组）。在本例中，python 创建的数组如下图右所示：

![016bdbc972dce20a3a389ecb2802b485.png][]

通常我们希望 NumPy 能初始化数组的值，为此 NumPy 提供了 ones()、zeros() 和 random.random() 等方法。我们只需传递希望 NumPy 生成的元素数量即可：

![f20129551de78277e85c07a53d013383.png][]

一旦创建了数组，我们就可以尽情对它们进行操作。

**数组运算**

让我们创建两个 NumPy 数组来展示数组运算功能。我们将下图两个数组称为 data 和 ones：

![d5652ade19c3b763a9e23225bd33f201.png][]

将它们按位置相加（即每行对应相加），直接输入 data + ones 即可：

![fb238781caf2169821bcfd2890f57831.png][]

当我开始学习这些工具时，我发现这样的抽象让我不必在循环中编写类似计算。此类抽象可以使我在更高层面上思考问题。

除了「加」，我们还可以进行如下操作：

![b57e6db9a78d6ea4229c1692e890057c.png][]

通常情况下，我们希望数组和单个数字之间也可以进行运算操作（即向量和标量之间的运算）。比如说，我们的数组表示以英里为单位的距离，我们希望将其单位转换为千米。只需输入 data \* 1.6 即可：

![92934670c650df04bb7e3d733f2ea9f9.png][]

看到 NumPy 是如何理解这个运算的了吗？这个概念叫做广播机制（broadcasting），它非常有用。

**索引**

我们可以我们像对 python 列表进行切片一样，对 NumPy 数组进行任意的索引和切片：

![65ef447371530dd045a90d4892248818.png][]

**聚合**

NumPy 还提供聚合功能：

![09e77b3fef7eb0330f8091a5942bb224.png][]

除了 min、max 和 sum 之外，你还可以使用 mean 得到平均值，使用 prod 得到所有元素的乘积，使用 std 得到标准差等等。

**更多维度**

上述的例子都在一个维度上处理向量。NumPy 之美的关键在于，它能够将上述所有方法应用到任意数量的维度。

**创建矩阵**

我们可以传递下列形状的 python 列表，使 NumPy 创建一个矩阵来表示它：

np.array([[1,2],[3,4]])

我们也可以使用上面提到的方法（ones()、zeros() 和 random.random()），只要写入一个描述我们创建的矩阵维数的元组即可：

![d09db12df5e7c23fc6093820700ff7bf.png][]

**矩阵运算**

如果两个矩阵大小相同，我们可以使用算术运算符（+-\*/）对矩阵进行加和乘。NumPy 将它们视为 position-wise 运算：

![56416b22bb5b87231bd71823b762b1d1.png][]

我们也可以对不同大小的两个矩阵执行此类算术运算，但前提是某一个维度为 1（如矩阵只有一列或一行），在这种情况下，NumPy 使用广播规则执行算术运算：

**点乘**

算术运算和矩阵运算的一个关键区别是矩阵乘法使用点乘。NumPy 为每个矩阵赋予 dot() 方法，我们可以用它与其他矩阵执行点乘操作：

![1b04c7d6f9ec2672f432e6fb30169a3c.png][]

我在上图的右下角添加了矩阵维数，来强调这两个矩阵的临近边必须有相同的维数。你可以把上述运算视为：

![b6158c848eaf485026a041d4ad3e9b12.png][]

**矩阵索引**

当我们处理矩阵时，索引和切片操作变得更加有用：

![e982d9b38b9a82653e1addfac40cec49.png][]

矩阵聚合

我们可以像聚合向量一样聚合矩阵：

![c1f3733ebc2451a7b31427f8a2b156be.png][]

我们不仅可以聚合矩阵中的所有值，还可以使用 axis 参数执行跨行或跨列聚合：

![8b3df28ff70298c2f7d8cc667dfe44f4.png][]

**转置和重塑**

处理矩阵时的一个常见需求是旋转矩阵。当需要对两个矩阵执行点乘运算并对齐它们共享的维度时，通常需要进行转置。NumPy 数组有一个方便的方法 T 来求得矩阵转置：

![66d24810cf26a536765a76a5e01f6d99.png][]

在更高级的实例中，你可能需要变换特定矩阵的维度。在机器学习应用中，经常会这样：某个模型对输入形状的要求与你的数据集不同。在这些情况下，NumPy 的 reshape() 方法就可以发挥作用了。只需将矩阵所需的新维度赋值给它即可。可以为维度赋值-1，NumPy 可以根据你的矩阵推断出正确的维度：

![33592e20a91bed964365f64166f8b3da.png][]

**再多维度**

NumPy 可以在任意维度实现上述提到的所有内容。其中心数据结构被叫作 ndarray（N 维数组）不是没道理的。

![5999fc9c0e23845afbe62acb3bc69f9c.png][]

在很多情况下，处理一个新的维度只需在 NumPy 函数的参数中添加一个逗号：

![af1cbfe83fb405e25eec38e2c11ede2c.png][]

**实际用法**

以下是 NumPy 可实现的有用功能的实例演示。

**公式**

实现可用于矩阵和向量的数学公式是 NumPy 的关键用例。这就是 NumPy 是 python 社区宠儿的原因。例如均方差公式，它是监督机器学习模型处理回归问题的核心：

![67c7f67e45b107149fd26e417b540a03.png][]

在 NumPy 中实现该公式很容易：

![4032ff06169901a7ab7590bf5815c8a4.png][]

这样做的好处在于，NumPy 并不关心 predictions 和 labels 包含一个值还是一千个值（只要它们大小相同）。我们可以通过一个示例依次执行上面代码行中的四个操作：

![69ac5c9ed638b57d820f2483ea7c0b4a.png][]

预测和标签向量都包含三个值，也就是说 n 的值为 3。减法后，得到的值如下：

![b4b99790bb79723f068f702b4964926a.png][]

然后将向量平方得到：

![205f0097768f7022c200deecdc0289fd.png][]

现在对这些值求和：

![01836835448b21bf0eb7a4d01ef71b77.png][]

得到的结果即为该预测的误差值和模型质量评分。

**数据表示**

考虑所有需要处理和构建模型所需的数据类型（电子表格、图像、音频等），其中很多都适合在 n 维数组中表示：

表格和电子表格

电子表格或值表是二维矩阵。电子表格中的每个工作表都可以是它自己的变量。python 中最流行的抽象是 pandas 数据帧，它实际上使用了 NumPy 并在其之上构建。

![b4b3ad280ac77435d493aa5330c01e4f.png][]

音频和时间序列

音频文件是样本的一维数组。每个样本都是一个数字，代表音频信号的一小部分。CD 质量的音频每秒包含 44,100 个样本，每个样本是-65535 到 65536 之间的整数。这意味着如果你有一个 10 秒的 CD 质量 WAVE 文件，你可以将它加载到长度为 10 \* 44,100 = 441,000 的 NumPy 数组中。如果想要提取音频的第一秒，只需将文件加载到 audio 的 NumPy 数组中，然后获取 audio\[:44100\]。

以下是一段音频文件：

![5013c2b68ef6e1b06bbd17e86504dda6.png][]

时间序列数据也是如此（如股票价格随时间变化）。

图像

图像是尺寸（高度 x 宽度）的像素矩阵。

如果图像是黑白（即灰度）的，则每个像素都可以用单个数字表示（通常在 0（黑色）和 255（白色）之间）。想要裁剪图像左上角 10 x 10 的像素吗？在 NumPy 写入

即可。

下图是一个图像文件的片段：

![9ff8ef2772b5c894475252785fd72cbe.png][]

如果图像是彩色的，则每个像素由三个数字表示——红色、绿色和蓝色。在这种情况下，我们需要一个三维数组（因为每个单元格只能包含一个数字）。因此彩色图像由尺寸为（高 x 宽 x3）的 ndarray 表示：

![0fb7f1cc4c04377a525c9ffd98ae78c7.png][]

语言

如果我们处理文本，情况就不同了。文本的数字表示需要一个构建词汇表的步骤（模型知道的唯一字清单）和嵌入步骤。让我们看看用数字表示以下文字的步骤：

模型需要先查看大量文本，再用数字表示这位诗人的话语。我们可以让它处理一个小数据集，并用它来构建一个词汇表（71,290 个单词）：

![63b1af5f64a033f1df0528402421d5ed.png][]

这个句子可以被分成一个 token 数组（基于通用规则的单词或单词的一部分）：

![0b41aa9253e5a2fa581f53015e38bc88.png][]

然后我们用词汇表中的 ID 替换每个单词：

![be78186b42c29adc885f924e688b05b8.png][]

这些 ID 仍然没有为模型提供太多信息价值。因此，在将这一组单词输入到模型之前，我们需要用嵌入替换 token/单词（在本例中为 50 维 word2vec 嵌入）：

![1411f410c59ae4ae38d157c59e336d12.png][]

可以看到，该 NumPy 数组的维度为 \[embedding\_dimension x sequence\_length\]。出于性能原因，深度学习模型倾向于保留批大小的第一维（因为如果并行训练多个示例，模型训练速度会加快）。在这种情况下，reshape() 变得非常有用。如像 BERT 这样的模型期望的输入形式是：\[batch\_size，sequence\_length，embedding\_size\]。

![b87589e0eefd474073ddeb195cdb3ce2.png][]

现在这是 numeric volume 形式，模型可以处理并执行相应操作。其他行虽然留空，但是它们会被填充其他示例以供模型训练（或预测）。*![54f8b86606953b2097f157382a65dd1b.png][]*

*原文链接：**https://jalammar.github.io/visual-numpy/*

![c81a02f96c205465380e41961a579645.gif][]

点击下方卡片进行关注，获取更多内容

![c623d64fa89b6138ccbd8b52f5b23579.png][]

点分享

![4876897ba2dfe763a49804c50f885d7c.png][]

点收藏

![5f689d3a1e72ff098b76dc0ebff69519.png][]

点点赞

![9de79b4e3515054e5d34b93a16733ba7.png][]

点在看

[7f71505d8df2c370f645bdfef20565fc.png]: /images/20220828/2b0baee12eae4e629cc741f70f004237.png
[016bdbc972dce20a3a389ecb2802b485.png]: /images/20220828/3e6ce509b58043b8b15d717f18bf1488.png
[f20129551de78277e85c07a53d013383.png]: /images/20220828/a83c0271b9c947adacc02cee48c0f5bd.png
[d5652ade19c3b763a9e23225bd33f201.png]: /images/20220828/013e8b89d27f4fef8ab909a7f2937c68.png
[fb238781caf2169821bcfd2890f57831.png]: /images/20220828/c30aa3e0dcee4a9a83d8932d51e95492.png
[b57e6db9a78d6ea4229c1692e890057c.png]: /images/20220828/e8e8b71ceee34660b2ad560c9313f70e.png
[92934670c650df04bb7e3d733f2ea9f9.png]: /images/20220828/719437d512614f46988609bcef8a3bd8.png
[65ef447371530dd045a90d4892248818.png]: /images/20220828/0b47931bd5e7401ba11f9d027cd0a9c0.png
[09e77b3fef7eb0330f8091a5942bb224.png]: /images/20220828/a79018ddf3a24f9c97acccba4dd44b96.png
[d09db12df5e7c23fc6093820700ff7bf.png]: /images/20220828/0bbdd79b6363421ab32e9c165cc9fac3.png
[56416b22bb5b87231bd71823b762b1d1.png]: /images/20220828/5147b1a4a825487c819974f7642bf0da.png
[1b04c7d6f9ec2672f432e6fb30169a3c.png]: /images/20220828/b4a19441f0c24144a502228a8818e0ef.png
[b6158c848eaf485026a041d4ad3e9b12.png]: /images/20220828/aab9dda30744465e961e9762d650c1f4.png
[e982d9b38b9a82653e1addfac40cec49.png]: /images/20220828/e388140141f9409e9e17fbfd0cf0849a.png
[c1f3733ebc2451a7b31427f8a2b156be.png]: /images/20220828/7b82a55efed045b587549cd78c390b52.png
[8b3df28ff70298c2f7d8cc667dfe44f4.png]: /images/20220828/31b4fd85fb234f469036f1c6e3631e7c.png
[66d24810cf26a536765a76a5e01f6d99.png]: /images/20220828/67790b27a6534546adacc58a5d694090.png
[33592e20a91bed964365f64166f8b3da.png]: /images/20220828/56555f8c00ab445db502f8a4ff198469.png
[5999fc9c0e23845afbe62acb3bc69f9c.png]: /images/20220828/7263789bad9d4b02b83b5eb49de85982.png
[af1cbfe83fb405e25eec38e2c11ede2c.png]: /images/20220828/f5d91f75901f456e8279a4c59276ea8d.png
[67c7f67e45b107149fd26e417b540a03.png]: /images/20220828/6930f0bd882e4470bf10b981f91034ea.png
[4032ff06169901a7ab7590bf5815c8a4.png]: /images/20220828/b9958073edbc4b2b95045faaddf445da.png
[69ac5c9ed638b57d820f2483ea7c0b4a.png]: /images/20220828/3a320534a7d84bbc8145dd984296a707.png
[b4b99790bb79723f068f702b4964926a.png]: /images/20220828/43c1bf73a1b342af85734558b00bd64d.png
[205f0097768f7022c200deecdc0289fd.png]: /images/20220828/dec6261df5574e2abff19496e546abe4.png
[01836835448b21bf0eb7a4d01ef71b77.png]: /images/20220828/455da544dd1b4277b697dd8b66f0cff8.png
[b4b3ad280ac77435d493aa5330c01e4f.png]: /images/20220828/b98cb5c80277428c921fa29d8aa22329.png
[5013c2b68ef6e1b06bbd17e86504dda6.png]: /images/20220828/e9101c54fae54147928bb0741ee34501.png
[9ff8ef2772b5c894475252785fd72cbe.png]: /images/20220828/a569583c38454941a9b487b08d9b3d3f.png
[0fb7f1cc4c04377a525c9ffd98ae78c7.png]: /images/20220828/8fb3aa1249ee4dbaa62261ccb30a50c3.png
[63b1af5f64a033f1df0528402421d5ed.png]: /images/20220828/63b517cd15e04d8ea434584e8104f86b.png
[0b41aa9253e5a2fa581f53015e38bc88.png]: /images/20220828/b5b9ce3bb5494fa7a2d27c005e03d20f.png
[be78186b42c29adc885f924e688b05b8.png]: /images/20220828/e3bc9fe270504c479c7d8162635f64da.png
[1411f410c59ae4ae38d157c59e336d12.png]: /images/20220828/77f1e1b3554c42858231e7bf5ac36dc2.png
[b87589e0eefd474073ddeb195cdb3ce2.png]: /images/20220828/3c929df7f64f417e9740710a0535196b.png
[54f8b86606953b2097f157382a65dd1b.png]: /images/20220828/579358462ec1467b996ebee30eb89d62.png
[c81a02f96c205465380e41961a579645.gif]: /images/20220828/6b68065239ce441098c3d93c77166ced.png
[c623d64fa89b6138ccbd8b52f5b23579.png]: /images/20220828/412649031f1242f9a54a5e339d10ee46.png
[4876897ba2dfe763a49804c50f885d7c.png]: /images/20220828/3e1d92500ca94dda8e15c63422297f1e.png
[5f689d3a1e72ff098b76dc0ebff69519.png]: /images/20220828/7e18d9400f3f4e91a277a400634c666b.png
[9de79b4e3515054e5d34b93a16733ba7.png]: /images/20220828/fc106fa20d024a0ca87c4b9a62092717.png