将不规则的Python多维数组拉平到一维，你学废了吗？

电玩女神 2022-11-19 09:54 199阅读 0赞

![format_png][]

> 小小明，「凹凸数据」专栏作者，Pandas数据处理高手，致力于帮助无数数据从业者解决数据处理难题。

之前有群友提出一个需求：

![format_png 1][]

例如有一个列表：

l = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]

希望把它转换成下面这种形式：

[1, 2, 3, 4, 5, 6, 7, 8, 9]

群友们也纷纷热心的给出了自己的见解和方案：

![format_png 2][]

我感觉都非常不错，但其实还有更简单的办法。

另外如果是下面这种不规则的多维列表：

l = [[1, 2], [3, 4], [5, [6, 7, [8, 9]]], 10, [11, [12, 13, [14, 15, [16]]]]]

我们想将它拉平到一维列表：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

常规的方法就都会不好使，我会教大家通过递归或栈来实现深度优先遍历策略来解决这个问题。

![format_png 3][]

## 使用numpy拉平数组 ##

import numpy as np
    
    np.array(l).flatten().tolist()

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9]

## 使用python拉平数组 ##

使用numpy数组拉平数组，其实很受限，一旦列表内部每个元素的长度不一致，numpy就不好使了：

l = [[1, 2, 3], [4, 5], [6, 7], [8, 9, 10, 11]]
    np.array(l).flatten().tolist()

D:\Anaconda3\lib\site-packages\ipykernel_launcher.py:2: VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray

结果：

[[1, 2, 3], [4, 5], [6, 7], [8, 9, 10, 11]]

这时我们可以通过python的itertools库的chain来实现拉平操作：

import itertools
    
    list(itertools.chain(*l))

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]

当然还有一种更高级的操作方法是直接使用sum函数：

sum(l, [])

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]

你可能一脸懵逼，为什么sum函数可以实现列表的拉平？下面我翻译一下，这段代码实际做了什么：

result = []
    for i in l:
        result += i
    result

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]

`sum(l, [])`的第一个参数是被迭代的容器，第二个元素是一个初始值，它的工作机制与函数式编程的reduce思想是一样的，用一个初始值不停的迭代操作目标的每个元素累加到初始对象中。

## 将不规则多维数组拉平到1维 ##

上面的需求似乎很简单，假如我们希望将下面这个复杂的列表，拉平到一维呢？

l = [[1, 2], [3, 4], [5, [6, 7, [8, 9]]], 10, [11, [12, 13, [14, 15, [16]]]]]

这样不规则的列表，上面的方法已经都不好使了，这个时候怎么办呢？

在这个列表不长的时候，我们可以玩点小技巧：

list_str = str(l).replace("[", "").replace("]", "")
    eval(f"[{list_str}]")

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

原理就是先将这个列表转成普通的字符串，再将所有的`[]`字符都去掉，再转成单维列表的字符串形式之后，用eval函数进行解析。

上面的字符串替换，使用正则替换会更佳：

import re
    
    eval(re.sub("(?!^)\[|\](?!$)", "", str(l)))

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

这个小技巧非常巧妙，但是在这个不规则列表长度足够长，元素足够多的时候，这种方法性能上可能是无法被接受的，因为解析字符串创建对象存在较大的资源开销。

## 深度优先遍历策略拉平多维数组 ##

下面我介绍一个正常的解决这个问题的办法，那就是使用深度优先遍历策略，如果你对拉平的结果没有顺序的要求还可以使用广度优先遍历的策略。

深度优先遍历策略，最简单直接的思路是使用递归来实现：

def flatten(items, result=[]):
        for item in items:
            if isinstance(item, list):
                flatten(item, result)
            else:
                result.append(item)
    
    
    result = []
    flatten(l, result)
    result

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

虽然递归可能出现调用栈过多导致性能下降或程序挂掉，但Python可以借助生成器让递归调用变成普通调用：

def flatten(items):
        for item in items:
            if isinstance(item, list):
                yield from flatten(item)
            else:
                yield item
    
    
    result = [e for e in flatten(l)]
    result

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

如果我们不想使用递归或生成器来实现深度优先遍历，还可以借助一个栈来实现深度优先遍历。

为了保证结果是原有的顺序，我们把左端作为栈顶，而数组不适合删除左端的数据，所以使用deque来作为栈。

首先，我们需要将原列表转换为`deque`，下面是处理代码：

from collections import deque
    
    stack = deque(l)
    result = []
    while len(stack) != 0:
        item = stack.popleft()
        if isinstance(item, list):
            for e in reversed(item):
                stack.appendleft(e)
        else:
            result.append(item)
    result

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

如果我们将原列表作为一个右端为栈顶的栈，可以通过向结果左端插入数据来保持原有的顺序：

from collections import deque
    
    stack = l.copy()
    result = deque()
    while len(stack) != 0:
        item = stack.pop()
        if isinstance(item, list):
            for e in item:
                stack.append(e)
        else:
            result.appendleft(item)
    result = list(result)
    result

结果：

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]

## 小结 ##

想不到小小的列表拉平还有这么多学问，希望今天的分享能够对让你学有所获。

欢迎你在下方留言或评论，分享你的学习心得和体会。

![format_png 4][]

**后台回复暗号「****进群****」，即刻加入读者交流群~**

![format_png 5][]

[format_png]: /images/20221119/bd784b0ae3ec4186bfea5a661bce0f8b.png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGdPWWNvSlJsUTh2c3NObWdYcVppYm81cVRxWUtVRlBiTEo2bFQwUDZPdzd5V3FDbGxIMFhDY2lhM0hQV3p6RGRpYW0zY3BqWk1wVlhPNkEvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGdPWWNvSlJsUTh2c3NObWdYcVppYm81SkxGWDJUZzFNQmY3Z09uUjB6RFhNRngxdE5BNWdUaWNaTFhpY2I3Z21uaWJoV292OVliaWJUY242QS82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGdPWWNvSlJsUTh2c3NObWdYcVppYm81cXVuUUZyNldmbUxVQzAwdTl1MWw5ZzZzWEpPaWNKUklVczBWRkhCaWJCYkdKS2ljNEltaWMwc3B3dy82NDA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9iOTZDaWJDdDcwaWFiaWFuSUhpYzFoQkFBcDg0aHBNQ2R6NVZpYWFqR3Q2QzJsWGFBWDNpYTExbXR5bnVlQndDckMyRHd1M0FGRmRJd1J3bjM0czJSTUdTMmtWQS82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90WFlpY3Q0MHhmTGlhV2FsSzhBOFhXdkV6VDdpYkRPdmJpYUVpYVJLUkw0cG43eHJTamljZGR3Sk1NZHBqdE45R1l2Q3NiVnJzUU9ub1VYdkYzVmlhMll0NkVqT3cvNjQw?x-oss-process=image/format,png