美团在Redis上踩过的一些坑-4.redis内存使用优化

╰半橙微兮° 2022-08-21 04:22 154阅读 0赞

# 转载请注明出处哈:[http://carlosfu.iteye.com/blog/2254154][http_carlosfu.iteye.com_blog_2254154] #

--------------------

#      #

一、背景: 选择合适的使用场景

很多时候Redis被误解并乱用了，造成的Redis印象：耗内存、价格成本很高：

1. 为了“赶时髦”或者对于Mysql的“误解”在一个并发量很低的系统使用Redis，将原来放在Mysql数据全部放在Redis中。

----（Redis比较适用于高并发系统，如果是一些复杂Mis系统，用Redis反而麻烦，因为单从功能讲Mysql要更为强大，而且Mysql的性能其实已经足够了。）

2. 觉得Redis就是个KV缓存

-----（Redis支持多数据结构，并且具有很多其他丰富的功能）

3. 喜欢做各种对比，比如Mysql, Hbase, Redis等等

-----（每种数据库都有自己的使用场景，比如Hbase吧，我们系统的个性化数据有1T，此时放在Redis根本就不合适，而是将一些热点数据放在Redis）

总之就是在合适的场景，选择合适的数据库产品。

附赠两个名言：

Evan Weaver, Twitter, March 2009 写道

Everything runs from memory in Web 2.0!

Tim Gray 写道

Tape is Dead, Disk is Tape, Flash is Disk, RAM Locality is king.  
(磁带已死,磁盘是新磁带,闪存是新磁盘,随机存储器局部性是为王道)

二、一次string转化为hash的优化

1. 场景：

用户id: userId,

用户微博数量：weiboCount

2. 实现方法：

(1) 使用Redis字符串数据结构, userId为key, weiboCount作为Value

(2) 使用Redis哈希结构，hashkey只有一个, key="allUserWeiboCount",field=userId,fieldValue= weiboCount

(3) 使用Redis哈希结构,  hashkey为多个, key=userId/100, field=userId%100, fieldValue= weiboCount

前两种比较容易理解，第三种方案解释一下：每个hashKey存放100个hash-kv，field=userId%100，也就是

<table style="font-family:Arial,sans-serif; font-size:14px; border-collapse:collapse; margin:10px 0px 0px; color:rgb(51,51,51); line-height:20px; height:209px; width:615px"> 
 <tbody> 
 <tr style="background-color:rgb(41,195,243)"> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> userId</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> hashKey</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> field</td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 1</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 0</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 1</td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 2</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 0</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 2 </td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 3</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 0</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 3 </td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> ...</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> ....</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> ...</td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 99</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 0</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 99</td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 100</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 1</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 0</td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 101</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 1</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 1</td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> ....</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> ...</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> ...</td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 9999</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 99</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 99</td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 100000</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 1000</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 0</td> 
 </tr> 
 </tbody> 
</table>

注意：

为了排除共享对象的问题，在真实测试时候所有key,field,value都用字符串类型。

3. 获取方法：

Java代码   ![收藏代码][icon_star.png]

1.  \#获取userId=5003用户的微博数  
2.  (1) get u:5003  
3.  (2) hget allUser u:5003  
4.  (3) hget u:50 f:3

4. 内存占用量对比(100万用户 userId u:1~u:1000000)

Java代码   ![收藏代码][icon_star.png]

1.  \#方法一 Memory  
2.  used\_memory:118002640  
3.  used\_memory\_human:112.54M  
4.  used\_memory\_rss:127504384  
5.  used\_memory\_peak:118002640  
6.  used\_memory\_peak\_human:112.54M  
7.  used\_memory\_lua:36864  
8.  mem\_fragmentation\_ratio:1.08  
9.  mem\_allocator:jemalloc-3.6.0  
10. \---------------------------------------------------  
11. \#方法二 Memory  
12. used\_memory:134002968  
13. used\_memory\_human:127.80M  
14. used\_memory\_rss:144261120  
15. used\_memory\_peak:134002968  
16. used\_memory\_peak\_human:127.80M  
17. used\_memory\_lua:36864  
18. mem\_fragmentation\_ratio:1.08  
19. mem\_allocator:jemalloc-3.6.0  
20. \--------------------------------------------------------  
21. \#方法三 Memory  
22. used\_memory:19249088  
23. used\_memory\_human:18.36M  
24. used\_memory\_rss:26558464  
25. used\_memory\_peak:134002968  
26. used\_memory\_peak\_human:127.80M  
27. used\_memory\_lua:36864  
28. mem\_fragmentation\_ratio:1.38  
29. mem\_allocator:jemalloc-3.6.0

那么为什么第三种能少那么多内存呢？之前有人说用了共享对象的原因，现在我将key,field,value全部都变成了字符串，仍然还是节约很多内存。

之前我也怀疑过是hashkey,field的字节数少造成的，但是我们下面通过一个实验看就清楚是为什么了。当我将hash-max-ziplist-entries设置为2并且重启后，所有的hashkey都变为了hashtable编码。

同时我们看到了内存从18.36M变为了122.30M，变化还是很大的。

Java代码   ![收藏代码][icon_star.png]

1.  127.0.0.1:8000> object encoding u:8417  
2.  "ziplist"  
3.  127.0.0.1:8000> config set hash-max-ziplist-entries 2  
4.  OK  
5.  127.0.0.1:8000> debug reload  
6.  OK  
7.  (1.08s)  
8.  127.0.0.1:8000> config get hash-max-ziplist-entries  
9.  1) "hash-max-ziplist-entries"  
10. 2) "2"  
11. 127.0.0.1:8000> info memory  
12. \# Memory  
13. used\_memory:128241008  
14. used\_memory\_human:122.30M  
15. used\_memory\_rss:137662464  
16. used\_memory\_peak:134002968  
17. used\_memory\_peak\_human:127.80M  
18. used\_memory\_lua:36864  
19. mem\_fragmentation\_ratio:1.07  
20. mem\_allocator:jemalloc-3.6.0  
21. 127.0.0.1:8000> object encoding u:8417  
22. "hashtable"

内存使用量：

![6a1db008-c982-304f-b753-201d80e7d01c.png][]

5. 导入数据代码（不考虑代码优雅性，单纯为了测试，勿喷）

注意：

为了排除共享对象的问题，这里所有key,field,value都用字符串类型。

Java代码   ![收藏代码][icon_star.png]

1. **package** com.carlosfu.redis;  
2.   
3. **import** java.util.ArrayList;  
4. **import** java.util.HashMap;  
5. **import** java.util.List;  
6. **import** java.util.Map;  
7. **import** java.util.Random;  
8.   
9. **import** org.junit.Test;  
10.   
11. **import** redis.clients.jedis.Jedis;  
12.   
13. /\*\* 
14.  \* 一次string-hash优化 
15.  \*  
16.  \* @author carlosfu 
17.  \* @Date 2015-11-8 
18.  \* @Time 下午7:27:45 
19.  \*/  
20. **public** **class** TestRedisMemoryOptimize \{  
21.   
22.     **private** **final** **static** **int** TOTAL\_USER\_COUNT = 1000000;  
23.   
24.     **private** **final** **static** String HOST = "127.0.0.1";  
25.   
26.     **private** **final** **static** **int** PORT = 6379;  
27.   
28.     /\*\* 
29.      \* 纯字符串 
30.      \*/  
31.     @Test  
32.     **public** **void** testString() \{  
33.         **int** mBatchSize = 2000;  
34.         Jedis jedis = **null**;  
35.         **try** \{  
36.             jedis = **new** Jedis(HOST, PORT);  
37.             List<String> kvsList = **new** ArrayList<String>(mBatchSize);  
38.             **for** (**int** i = 1; i <= TOTAL\_USER\_COUNT; i++) \{  
39.                 String key = "u:" + i;  
40.                 kvsList.add(key);  
41.                 String value = "v:" + i;  
42.                 kvsList.add(value);  
43.                 **if** (i % mBatchSize == 0) \{  
44.                     System.out.println(i);  
45.                     jedis.mset(kvsList.toArray(**new** String\[kvsList.size()\]));  
46.                     kvsList = **new** ArrayList<String>(mBatchSize);  
47.                 \}  
48.             \}  
49.         \} **catch** (Exception e) \{  
50.             e.printStackTrace();  
51.         \} **finally** \{  
52.             **if** (jedis != **null**) \{  
53.                 jedis.close();  
54.             \}  
55.         \}  
56.     \}  
57.   
58.     /\*\* 
59.      \* 纯hash 
60.      \*/  
61.     @Test  
62.     **public** **void** testHash() \{  
63.         **int** mBatchSize = 2000;  
64.         String hashKey = "allUser";  
65.         Jedis jedis = **null**;  
66.         **try** \{  
67.             jedis = **new** Jedis(HOST, PORT);  
68.             Map<String, String> kvMap = **new** HashMap<String, String>();  
69.             **for** (**int** i = 1; i <= TOTAL\_USER\_COUNT; i++) \{  
70.                 String key = "u:" + i;  
71.                 String value = "v:" + i;  
72.                 kvMap.put(key, value);  
73.                 **if** (i % mBatchSize == 0) \{  
74.                     System.out.println(i);  
75.                     jedis.hmset(hashKey, kvMap);  
76.                     kvMap = **new** HashMap<String, String>();  
77.                 \}  
78.             \}  
79.         \} **catch** (Exception e) \{  
80.             e.printStackTrace();  
81.         \} **finally** \{  
82.             **if** (jedis != **null**) \{  
83.                 jedis.close();  
84.             \}  
85.         \}  
86.     \}  
87.   
88.     /\*\* 
89.      \* segment hash 
90.      \*/  
91.     @Test  
92.     **public** **void** testSegmentHash() \{  
93.         **int** segment = 100;  
94.         Jedis jedis = **null**;  
95.         **try** \{  
96.             jedis = **new** Jedis(HOST, PORT);  
97.             Map<String, String> kvMap = **new** HashMap<String, String>();  
98.             **for** (**int** i = 1; i <= TOTAL\_USER\_COUNT; i++) \{  
99.                 String key = "f:" + String.valueOf(i % segment);  
100.                 String value = "v:" + i;  
101.                 kvMap.put(key, value);  
102.                 **if** (i % segment == 0) \{  
103.                     System.out.println(i);  
104.                     **int** hash = (i - 1) / segment;  
105.                     jedis.hmset("u:" + String.valueOf(hash), kvMap);  
106.                     kvMap = **new** HashMap<String, String>();  
107.                 \}  
108.             \}  
109.         \} **catch** (Exception e) \{  
110.             e.printStackTrace();  
111.         \} **finally** \{  
112.             **if** (jedis != **null**) \{  
113.                 jedis.close();  
114.             \}  
115.         \}  
116.     \}  
117.   
118. \}

三、结果对比

redis核心对象 数据类型 + 编码方式 + ptr  分段hash也不会造成drift

<table style="font-size:14px; border-collapse:collapse; margin:10px 0px 0px; color:rgb(51,51,51); font-family:Arial,sans-serif; line-height:20px; height:209px; width:615px"> 
 <tbody> 
 <tr style="background-color:rgb(41,195,243)"> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 方案</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 优点</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 缺点</td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> string</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 直观、容易理解 </td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 
 <ol style="font-size:1em; line-height:1.4em; margin:0px 0px 1.5em; padding:0px"> 
 <li style="font-size:1em; margin:0px 0px 0.25em 30px; padding:0px">内存占用较大</li> 
 <li style="font-size:1em; margin:0px 0px 0.25em 30px; padding:0px">key值分散、不变于计算整体</li> 
 </ol> </td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> hash</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 直观、容易理解、整合整体 </td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 
 <ol style="font-size:1em; line-height:1.4em; margin:0px 0px 1.5em; padding:0px"> 
 <li style="font-size:1em; margin:0px 0px 0.25em 30px; padding:0px">内存占用大</li> 
 <li style="font-size:1em; margin:0px 0px 0.25em 30px; padding:0px">一个key占用过大内存，如果是redis-cluster会出 现data drift</li> 
 </ol> &nbsp; </td> 
 </tr> 
 <tr> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> segment-hash</td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 内存占用量小，虽然理解不够直观，但是总体上是最优的。 </td> 
 <td style="font-size:1em; white-space:pre-wrap; border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top"> 理解不够直观。 </td> 
 </tr> 
 </tbody> 
</table>

四、结论：

在使用Redis时，要选择合理的数据结构解决实际问题，那样既可以提高效率又可以节省内存。所以此次优化方案三为最佳。

附图一张：redis其实是一把瑞士军刀：

![ef625555-2559-3e5d-af5a-580443e71b93.png][]

[http_carlosfu.iteye.com_blog_2254154]: http://carlosfu.iteye.com/blog/2254154
[icon_star.png]: /images/20220731/37d8cd7bfd8543398c5d36c67f7e03c1.png
[6a1db008-c982-304f-b753-201d80e7d01c.png]: /images/20220731/2f21715b02b34b03ae90ba7f3113608d.png
[ef625555-2559-3e5d-af5a-580443e71b93.png]: /images/20220731/efbba27426294ff9ad31497df14656bb.png