[技巧篇] 创建百万级实例如何节省内存？

落日映苍穹つ 2021-11-17 14:50 175阅读 0赞

![640][]

![640][640 1]

本文字数：1782 字

阅读本文大概需要：5 分钟

在实际工作中，我们可能会面临创建百万级别量实例的这种情况，比如在某流行社交网络中，定义了用户类 User(id, name, sex, status, ...)，每当有一个用户上线的时候，就在服务器内创建一个 User 实例。

这样当在线人数多的时候，很容易就会产生百万千万级别的实例，内存的开销十分巨大，如何降低这些大量实例的内存空间成了我们亟待解决的问题。

这篇文章，我就介绍一种解决办法：**定义类的 \_\_slot\_\_ 属性，用它来声明实例属性的列表**，可以用来减少内存空间的目的。

首先，我们先定义一个普通的 User 类：

class User1:
         def __init__(self, id, name, sex, status):
             self.id = id
             self.name = name
             self.sex = sex
             self.status = status

然后再定义一个带 \_\_slot\_\_ 的类：

class User2:
         __slots__ = ['id', 'name', 'sex', 'status']
         def __init__(self, id, name, sex, status):
             self.id = id
             self.name = name
             self.sex = sex
             self.status = status

接下来创建两个类的实例：

u1 = User1('01', 'rocky', '男', 1)
    u2 = User1('02', 'leey', '男', 1)

我们已经知道 u1 比 u2 使用的内存多，我们可以这样来想，一定是 u1 比 u2 多了某些属性，我们分别来看一下 u1 和 u2 的属性：

['__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', 'id', 'name', 'sex', 'status']

['__class__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__slots__', '__str__', '__subclasshook__', 'id', 'name', 'sex', 'status']

乍一看好像差别不大，我们下面具体来看一下差别在哪：

set(dir(u1)) - set(dir(u2))

通过做集合的差集，我们得到 u1 和 u2 在属性上的具体差别：

{'__weakref__', '__dict__'}

在我们不使用弱引用的时候，\_\_weakref\_\_ 并不占用多少内存，那最终这个锅就要 \_\_dict\_\_ 来背了。

下面我们来看一下 \_\_dict\_\_:

u1.__dict__

输出结果如下所示：

{'id': '01', 'name': 'rocky', 'sex': '男', 'status': 1}

输出一个字典，在它内部我们发现了刚刚在类里定义的属性，这个字典就是为了实例动态绑定属性的一个字典，我们怎么动态绑定呢？比如我们现在没有 u1.level 这个属性，那么我们可以为它动态绑定一个 level 属性，比如 u1.level = 10，然后我们再来考察这个字典：

u1.__dict__

现在输出的结果为：

{'id': '01', 'name': 'rocky', 'sex': '男', 'status': 1, 'level': 10}

这样看到 level 进入到这个字典中。

**这样一个动态绑定属性的特性，其实是以牺牲内存为代价的**，因为这个 \_\_dict\_\_ 它本身是占用内存的，接下来我们来验证这件事情：

import sys
    sys.getsizeof(u1.__dict__)

我们用 sys 模块下的 getsizeof 方法，它可以得到一个对象使用的内存：

112

我们可以看到这个字典占用了 112 的字节。反观 u2，它没有了 \_\_dict\_\_ 这个属性，我们想给它添加一个属性，也是被拒绝的。

u2.level = 10

显示的结果如下所示：

AttributeError: 'User2' object has no attribute 'level'

![640?wx\_fmt=gif][640_wx_fmt_gif]

●[\[技巧篇\] 循环代码优化技巧。][Link 1]

●[模式设计之「工厂模式」的实现][Link 2]

●[奇怪的 Python 整数缓存机制。][Python]

●[\[超详细\] 手把手带你发布自己的专属模块！][Link 3]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

?扫描上方二维码即可关注

[640]: /images/20211116/60a7ce943620419ea489f370e79b0bca.png
[640 1]: /images/20211116/e9dd5dd36de34cccbd8ec9462a879482.png
[640_wx_fmt_gif]: /images/20211116/97cbd3717ae743e2b1c65be7b0a285db.png
[Link 1]: https://mp.weixin.qq.com/s?__biz=MzUxMTc3NTI4Ng==&mid=2247484422&idx=1&sn=ad89f06a17ef3394d04fff9f236b883f&chksm=f96fc35fce184a497e4e8ef1eff59493f3aa13e6fc66f54e943b8b1e0209ca40fa0cff98f09b&token=215737714&lang=zh_CN&scene=21#wechat_redirect
[Link 2]: https://mp.weixin.qq.com/s?__biz=MzUxMTc3NTI4Ng==&mid=2247484427&idx=1&sn=013dacb45112676332a5a5704cd51a48&chksm=f96fc352ce184a4408e0eff94346b9b01186a2950426d4cfcda41d239c335c479e8ee96525c6&token=215737714&lang=zh_CN&scene=21#wechat_redirect
[Python]: https://mp.weixin.qq.com/s?__biz=MzUxMTc3NTI4Ng==&mid=2247484417&idx=1&sn=98378dcb5c2cb18383494c5a05cffb2a&chksm=f96fc358ce184a4e841fd7592c62e4432bf4035e837f80279b6eb16b1f22776062689cb8edf4&token=2125098615&lang=zh_CN&scene=21#wechat_redirect
[Link 3]: https://mp.weixin.qq.com/s?__biz=MzUxMTc3NTI4Ng==&mid=2247484412&idx=1&sn=bb68d8706b53d5156c105b7a7f0c7eff&chksm=f96fc4a5ce184db34656f1b3e70dc6f03df24058acd88bc66f876edb36710d0c34fd4ed33983&token=1641029509&lang=zh_CN&scene=21#wechat_redirect
[640_wx_fmt_jpeg]: /images/20211116/c30fe9dda9274eb282b8029e7bee8562.png