REdis CPU百分百问题分析

秒速五厘米 2022-03-01 03:42 333阅读 0赞

REdis版本：4.0.9

运行环境：Linux 3.10.107 x86\_64 gcc\_version:4.8.5

结论：是一个BUG，在4.0.11版本中被作者antirez所修复

现象：

1) top显示

![20190321162955302.png][]

2) 执行REdis info命令直接卡住不动

3) 集群通讯端口大量的“CLOSE\_WAIT”

4) 日志文件大量的“Bad message length or signature received from Cluster bus”

5) 物理内存和虚拟内存均占用不高（配置最大内存为5G，实际占用物理内存才4M多）

6) 通过其它正常节点查看，该故障节点处于“fail”状态

推测：发生了死循环。

GDB分析：

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> (gdb)&nbsp;bt #0&nbsp;&nbsp;je_malloc&nbsp;(size=size@entry=47)&nbsp;at&nbsp;src/jemalloc.c:1425 #1&nbsp;&nbsp;0x00000000004329ee&nbsp;in&nbsp;zmalloc&nbsp;(size=size@entry=47)&nbsp;at&nbsp;zmalloc.c:98 #2&nbsp;&nbsp;0x000000000043cea9&nbsp;in&nbsp;createEmbeddedStringObject&nbsp;(ptr=0x7f5da721b101&nbsp;"dog:cgi:proj_trans_query_hb",&nbsp;len=27)&nbsp;at&nbsp;object.c:85 #3&nbsp;&nbsp;0x000000000043cf65&nbsp;in&nbsp;createStringObject&nbsp;(ptr=ptr@entry=0x7f5da721b101&nbsp;"dog:cgi:proj_trans_query_hb",&nbsp;len=&lt;optimized&nbsp;out&gt;)&nbsp;at&nbsp;object.c:119 #4&nbsp;&nbsp;0x000000000044141b&nbsp;in&nbsp;dbRandomKey&nbsp;(db=0x7f5da72d5000)&nbsp;at&nbsp;db.c:236 #5&nbsp;&nbsp;0x00000000004414c2&nbsp;in&nbsp;randomkeyCommand&nbsp;(c=0x7f5da6dd9e00)&nbsp;at&nbsp;db.c:498 #6&nbsp;&nbsp;0x000000000042c03e&nbsp;in&nbsp;call&nbsp;(c=c@entry=0x7f5da6dd9e00,&nbsp;flags=flags@entry=15)&nbsp;at&nbsp;server.c:2229 #7&nbsp;&nbsp;0x000000000042c6e7&nbsp;in&nbsp;processCommand&nbsp;(c=0x7f5da6dd9e00)&nbsp;at&nbsp;server.c:2510 #8&nbsp;&nbsp;0x000000000043b745&nbsp;in&nbsp;processInputBuffer&nbsp;(c=0x7f5da6dd9e00)&nbsp;at&nbsp;networking.c:1354 #9&nbsp;&nbsp;0x00000000004267f0&nbsp;in&nbsp;aeProcessEvents&nbsp;(eventLoop=eventLoop@entry=0x7f5da723a050,&nbsp;flags=flags@entry=11)&nbsp;at&nbsp;ae.c:440 #10&nbsp;0x0000000000426adb&nbsp;in&nbsp;aeMain&nbsp;(eventLoop=0x7f5da723a050)&nbsp;at&nbsp;ae.c:498 #11&nbsp;0x00000000004238ef&nbsp;in&nbsp;main&nbsp;(argc=&lt;optimized&nbsp;out&gt;,&nbsp;argv=0x7ffc0451ab58)&nbsp;at&nbsp;server.c:3894 (gdb)&nbsp;f&nbsp;5 #5&nbsp;&nbsp;0x00000000004414c2&nbsp;in&nbsp;randomkeyCommand&nbsp;(c=0x7f5da6dd9e00)&nbsp;at&nbsp;db.c:498 498&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;db.c:&nbsp;No&nbsp;such&nbsp;file&nbsp;or&nbsp;directory. (gdb)&nbsp;p&nbsp;*c $7&nbsp;=&nbsp;{id&nbsp;=&nbsp;144,&nbsp;fd&nbsp;=&nbsp;78,&nbsp;db&nbsp;=&nbsp;0x7f5da72d5000,&nbsp;name&nbsp;=&nbsp;0x0,&nbsp;querybuf&nbsp;=&nbsp;0x7f5da70ae285&nbsp;"",&nbsp;pending_querybuf&nbsp;=&nbsp;0x7f5da7216743&nbsp;"",&nbsp;querybuf_peak&nbsp;=&nbsp;0,&nbsp;argc&nbsp;=&nbsp;1,&nbsp;argv&nbsp;=&nbsp;0x7f5da72167f0,&nbsp; &nbsp;&nbsp;cmd&nbsp;=&nbsp;0x741820&nbsp;&lt;redisCommandTable+7520&gt;,&nbsp;lastcmd&nbsp;=&nbsp;0x741820&nbsp;&lt;redisCommandTable+7520&gt;,&nbsp;reqtype&nbsp;=&nbsp;2,&nbsp;multibulklen&nbsp;=&nbsp;0,&nbsp;bulklen&nbsp;=&nbsp;-1,&nbsp;reply&nbsp;=&nbsp;0x7f5da6d20ea0,&nbsp;reply_bytes&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;sentlen&nbsp;=&nbsp;0,&nbsp;ctime&nbsp;=&nbsp;1542039740,&nbsp;lastinteraction&nbsp;=&nbsp;1542039740,&nbsp;obuf_soft_limit_reached_time&nbsp;=&nbsp;0,&nbsp;flags&nbsp;=&nbsp;0,&nbsp;authenticated&nbsp;=&nbsp;0,&nbsp;replstate&nbsp;=&nbsp;0,&nbsp;repl_put_online_on_ack&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;repldbfd&nbsp;=&nbsp;-1496183376,&nbsp;repldboff&nbsp;=&nbsp;0,&nbsp;repldbsize&nbsp;=&nbsp;0,&nbsp;replpreamble&nbsp;=&nbsp;0x5bdb29d9&nbsp;&lt;Address&nbsp;0x5bdb29d9&nbsp;out&nbsp;of&nbsp;bounds&gt;,&nbsp;read_reploff&nbsp;=&nbsp;0,&nbsp;reploff&nbsp;=&nbsp;0,&nbsp;repl_ack_off&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;repl_ack_time&nbsp;=&nbsp;0,&nbsp;psync_initial_offset&nbsp;=&nbsp;1090943882,&nbsp; &nbsp;&nbsp;replid&nbsp;=&nbsp;"\000\000\000\000]\177\000\000\000\000\000\000\000\000\000\000\216\000\000\000\000\000\000\000\377\377\377\377\000\000\000\000\000P-\247]\177\000\000",&nbsp; &nbsp;&nbsp;slave_listening_port&nbsp;=&nbsp;0,&nbsp;slave_ip&nbsp;=&nbsp;"\000\000\000\000\000\000\000\000\243k!\247]\177",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;14&nbsp;times&gt;,&nbsp;"]\177\000\000@g!\247]\177\000\000\000\000\000\000\000",&nbsp; &nbsp;&nbsp;slave_capa&nbsp;=&nbsp;0,&nbsp;mstate&nbsp;=&nbsp;{commands&nbsp;=&nbsp;0x0,&nbsp;count&nbsp;=&nbsp;0,&nbsp;minreplicas&nbsp;=&nbsp;-1,&nbsp;minreplicas_timeout&nbsp;=&nbsp;140040207470240},&nbsp;btype&nbsp;=&nbsp;0,&nbsp;bpop&nbsp;=&nbsp;{timeout&nbsp;=&nbsp;0,&nbsp;keys&nbsp;=&nbsp;0x7f5da72b2aa0,&nbsp;target&nbsp;=&nbsp;0x0,&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;numreplicas&nbsp;=&nbsp;0,&nbsp;reploffset&nbsp;=&nbsp;0,&nbsp;module_blocked_handle&nbsp;=&nbsp;0x0},&nbsp;woff&nbsp;=&nbsp;0,&nbsp;watched_keys&nbsp;=&nbsp;0x7f5da6d20e70,&nbsp;pubsub_channels&nbsp;=&nbsp;0x7f5da72b2b00,&nbsp;pubsub_patterns&nbsp;=&nbsp;0x7f5da6d20ed0,&nbsp; &nbsp;&nbsp;peerid&nbsp;=&nbsp;0x0,&nbsp;bufpos&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;buf&nbsp;=&nbsp;'\000'&nbsp;&lt;repeats&nbsp;20&nbsp;times&gt;,&nbsp;"\023.Kp\000\000\000\000\240\016\322\246]\177\000\000\000++\247]\177\000\000\320\016\322\246]\177",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;14&nbsp;times&gt;,&nbsp;"$-1\r\n",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;39&nbsp;times&gt;,&nbsp;"\240*+\247]\177",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;34&nbsp;times&gt;,&nbsp;"\242;\223&lt;\000\000\000\000\000\000\000\000]\177\000\000\000\000\000\000\000\000\000\000\240*+\247]\177",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;14&nbsp;times&gt;,&nbsp;"$-1\r",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;16&nbsp;times&gt;...} (gdb)&nbsp;p&nbsp;*c-&gt;cmd $8&nbsp;=&nbsp;{name&nbsp;=&nbsp;0x4f3026&nbsp;"randomkey",&nbsp;proc&nbsp;=&nbsp;0x4414b0&nbsp;&lt;randomkeyCommand&gt;,&nbsp;arity&nbsp;=&nbsp;1,&nbsp;sflags&nbsp;=&nbsp;0x4f2e87&nbsp;"rR",&nbsp;flags&nbsp;=&nbsp;130,&nbsp;getkeys_proc&nbsp;=&nbsp;0x0,&nbsp;firstkey&nbsp;=&nbsp;0,&nbsp;lastkey&nbsp;=&nbsp;0,&nbsp;keystep&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;microseconds&nbsp;=&nbsp;139,&nbsp;calls&nbsp;=&nbsp;67} (gdb)&nbsp;c Continuing. ^C Program&nbsp;received&nbsp;signal&nbsp;SIGINT,&nbsp;Interrupt. 0x00007f5da782339b&nbsp;in&nbsp;random&nbsp;()&nbsp;from&nbsp;/lib64/libc.so.6 (gdb)&nbsp;bt #0&nbsp;&nbsp;0x00007f5da782339b&nbsp;in&nbsp;random&nbsp;()&nbsp;from&nbsp;/lib64/libc.so.6 #1&nbsp;&nbsp;0x0000000000428bf5&nbsp;in&nbsp;dictGetRandomKey&nbsp;(d=0x7f5da7218360)&nbsp;at&nbsp;dict.c:630 #2&nbsp;&nbsp;0x00000000004413e0&nbsp;in&nbsp;dbRandomKey&nbsp;(db=0x7f5da72d5000)&nbsp;at&nbsp;db.c:232 #3&nbsp;&nbsp;0x00000000004414c2&nbsp;in&nbsp;randomkeyCommand&nbsp;(c=0x7f5da6dd9e00)&nbsp;at&nbsp;db.c:498 #4&nbsp;&nbsp;0x000000000042c03e&nbsp;in&nbsp;call&nbsp;(c=c@entry=0x7f5da6dd9e00,&nbsp;flags=flags@entry=15)&nbsp;at&nbsp;server.c:2229 #5&nbsp;&nbsp;0x000000000042c6e7&nbsp;in&nbsp;processCommand&nbsp;(c=0x7f5da6dd9e00)&nbsp;at&nbsp;server.c:2510 #6&nbsp;&nbsp;0x000000000043b745&nbsp;in&nbsp;processInputBuffer&nbsp;(c=0x7f5da6dd9e00)&nbsp;at&nbsp;networking.c:1354 #7&nbsp;&nbsp;0x00000000004267f0&nbsp;in&nbsp;aeProcessEvents&nbsp;(eventLoop=eventLoop@entry=0x7f5da723a050,&nbsp;flags=flags@entry=11)&nbsp;at&nbsp;ae.c:440 #8&nbsp;&nbsp;0x0000000000426adb&nbsp;in&nbsp;aeMain&nbsp;(eventLoop=0x7f5da723a050)&nbsp;at&nbsp;ae.c:498 #9&nbsp;&nbsp;0x00000000004238ef&nbsp;in&nbsp;main&nbsp;(argc=&lt;optimized&nbsp;out&gt;,&nbsp;argv=0x7ffc0451ab58)&nbsp;at&nbsp;server.c:3894 (gdb)&nbsp;f&nbsp;3 #3&nbsp;&nbsp;0x00000000004414c2&nbsp;in&nbsp;randomkeyCommand&nbsp;(c=0x7f5da6dd9e00)&nbsp;at&nbsp;db.c:498 498&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;in&nbsp;db.c (gdb)&nbsp;p&nbsp;*c $9&nbsp;=&nbsp;{id&nbsp;=&nbsp;144,&nbsp;fd&nbsp;=&nbsp;78,&nbsp;db&nbsp;=&nbsp;0x7f5da72d5000,&nbsp;name&nbsp;=&nbsp;0x0,&nbsp;querybuf&nbsp;=&nbsp;0x7f5da70ae285&nbsp;"",&nbsp;pending_querybuf&nbsp;=&nbsp;0x7f5da7216743&nbsp;"",&nbsp;querybuf_peak&nbsp;=&nbsp;0,&nbsp;argc&nbsp;=&nbsp;1,&nbsp;argv&nbsp;=&nbsp;0x7f5da72167f0,&nbsp; &nbsp;&nbsp;cmd&nbsp;=&nbsp;0x741820&nbsp;&lt;redisCommandTable+7520&gt;,&nbsp;lastcmd&nbsp;=&nbsp;0x741820&nbsp;&lt;redisCommandTable+7520&gt;,&nbsp;reqtype&nbsp;=&nbsp;2,&nbsp;multibulklen&nbsp;=&nbsp;0,&nbsp;bulklen&nbsp;=&nbsp;-1,&nbsp;reply&nbsp;=&nbsp;0x7f5da6d20ea0,&nbsp;reply_bytes&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;sentlen&nbsp;=&nbsp;0,&nbsp;ctime&nbsp;=&nbsp;1542039740,&nbsp;lastinteraction&nbsp;=&nbsp;1542039740,&nbsp;obuf_soft_limit_reached_time&nbsp;=&nbsp;0,&nbsp;flags&nbsp;=&nbsp;0,&nbsp;authenticated&nbsp;=&nbsp;0,&nbsp;replstate&nbsp;=&nbsp;0,&nbsp;repl_put_online_on_ack&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;repldbfd&nbsp;=&nbsp;-1496183376,&nbsp;repldboff&nbsp;=&nbsp;0,&nbsp;repldbsize&nbsp;=&nbsp;0,&nbsp;replpreamble&nbsp;=&nbsp;0x5bdb29d9&nbsp;&lt;Address&nbsp;0x5bdb29d9&nbsp;out&nbsp;of&nbsp;bounds&gt;,&nbsp;read_reploff&nbsp;=&nbsp;0,&nbsp;reploff&nbsp;=&nbsp;0,&nbsp;repl_ack_off&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;repl_ack_time&nbsp;=&nbsp;0,&nbsp;psync_initial_offset&nbsp;=&nbsp;1090943882,&nbsp; &nbsp;&nbsp;replid&nbsp;=&nbsp;"\000\000\000\000]\177\000\000\000\000\000\000\000\000\000\000\216\000\000\000\000\000\000\000\377\377\377\377\000\000\000\000\000P-\247]\177\000\000",&nbsp; &nbsp;&nbsp;slave_listening_port&nbsp;=&nbsp;0,&nbsp;slave_ip&nbsp;=&nbsp;"\000\000\000\000\000\000\000\000\243k!\247]\177",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;14&nbsp;times&gt;,&nbsp;"]\177\000\000@g!\247]\177\000\000\000\000\000\000\000",&nbsp; &nbsp;&nbsp;slave_capa&nbsp;=&nbsp;0,&nbsp;mstate&nbsp;=&nbsp;{commands&nbsp;=&nbsp;0x0,&nbsp;count&nbsp;=&nbsp;0,&nbsp;minreplicas&nbsp;=&nbsp;-1,&nbsp;minreplicas_timeout&nbsp;=&nbsp;140040207470240},&nbsp;btype&nbsp;=&nbsp;0,&nbsp;bpop&nbsp;=&nbsp;{timeout&nbsp;=&nbsp;0,&nbsp;keys&nbsp;=&nbsp;0x7f5da72b2aa0,&nbsp;target&nbsp;=&nbsp;0x0,&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;numreplicas&nbsp;=&nbsp;0,&nbsp;reploffset&nbsp;=&nbsp;0,&nbsp;module_blocked_handle&nbsp;=&nbsp;0x0},&nbsp;woff&nbsp;=&nbsp;0,&nbsp;watched_keys&nbsp;=&nbsp;0x7f5da6d20e70,&nbsp;pubsub_channels&nbsp;=&nbsp;0x7f5da72b2b00,&nbsp;pubsub_patterns&nbsp;=&nbsp;0x7f5da6d20ed0,&nbsp; &nbsp;&nbsp;peerid&nbsp;=&nbsp;0x0,&nbsp;bufpos&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;buf&nbsp;=&nbsp;'\000'&nbsp;&lt;repeats&nbsp;20&nbsp;times&gt;,&nbsp;"\023.Kp\000\000\000\000\240\016\322\246]\177\000\000\000++\247]\177\000\000\320\016\322\246]\177",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;14&nbsp;times&gt;,&nbsp;"$-1\r\n",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;39&nbsp;times&gt;,&nbsp;"\240*+\247]\177",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;34&nbsp;times&gt;,&nbsp;"\242;\223&lt;\000\000\000\000\000\000\000\000]\177\000\000\000\000\000\000\000\000\000\000\240*+\247]\177",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;14&nbsp;times&gt;,&nbsp;"$-1\r",&nbsp;'\000'&nbsp;&lt;repeats&nbsp;16&nbsp;times&gt;...} (gdb)&nbsp;p&nbsp;*c-&gt;cmd $10&nbsp;=&nbsp;{name&nbsp;=&nbsp;0x4f3026&nbsp;"randomkey",&nbsp;proc&nbsp;=&nbsp;0x4414b0&nbsp;&lt;randomkeyCommand&gt;,&nbsp;arity&nbsp;=&nbsp;1,&nbsp;sflags&nbsp;=&nbsp;0x4f2e87&nbsp;"rR",&nbsp;flags&nbsp;=&nbsp;130,&nbsp;getkeys_proc&nbsp;=&nbsp;0x0,&nbsp;firstkey&nbsp;=&nbsp;0,&nbsp;lastkey&nbsp;=&nbsp;0,&nbsp;keystep&nbsp;=&nbsp;0,&nbsp; &nbsp;&nbsp;microseconds&nbsp;=&nbsp;139,&nbsp;calls&nbsp;=&nbsp;67} </td> 
 </tr> 
 </tbody> 
</table>

从两次不同时间点的数据看，c的地址未发生变化，是同一对象。对照相应版本的源代码，找有循环的地方缩小范围，确定死循环发生的具体函数。

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> /*&nbsp;Return&nbsp;a&nbsp;random&nbsp;key,&nbsp;in&nbsp;form&nbsp;of&nbsp;a&nbsp;Redis&nbsp;object. &nbsp;*&nbsp;If&nbsp;there&nbsp;are&nbsp;no&nbsp;keys,&nbsp;NULL&nbsp;is&nbsp;returned. &nbsp;* &nbsp;*&nbsp;The&nbsp;function&nbsp;makes&nbsp;sure&nbsp;to&nbsp;return&nbsp;keys&nbsp;not&nbsp;already&nbsp;expired.&nbsp;*/ robj&nbsp;*dbRandomKey(redisDb&nbsp;*db)&nbsp;{&nbsp;//&nbsp;db.c:225 &nbsp;&nbsp;&nbsp;&nbsp;dictEntry&nbsp;*de; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;while(1)&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sds&nbsp;key; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;robj&nbsp;*keyobj; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;de&nbsp;=&nbsp;dictGetRandomKey(db-&gt;dict);&nbsp;//&nbsp;db.c:232 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(de&nbsp;==&nbsp;NULL)&nbsp;return&nbsp;NULL; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;key&nbsp;=&nbsp;dictGetKey(de); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;keyobj&nbsp;=&nbsp;createStringObject(key,sdslen(key)); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(dictFind(db-&gt;expires,key))&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(expireIfNeeded(db,keyobj))&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;decrRefCount(keyobj); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;continue;&nbsp;/*&nbsp;search&nbsp;for&nbsp;another&nbsp;key.&nbsp;This&nbsp;expired.&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;keyobj; &nbsp;&nbsp;&nbsp;&nbsp;} } &nbsp; void&nbsp;randomkeyCommand(client&nbsp;*c)&nbsp;{&nbsp;//&nbsp;db.c:495 &nbsp;&nbsp;&nbsp;&nbsp;robj&nbsp;*key; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;((key&nbsp;=&nbsp;dbRandomKey(c-&gt;db))&nbsp;==&nbsp;NULL)&nbsp;{&nbsp;//&nbsp;db.c:498 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;addReply(c,shared.nullbulk); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return; &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;在这里打一断点，如果没执行到这， &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;即可确定函数dbRandomKey发生死循环 &nbsp;&nbsp;&nbsp;&nbsp;addReplyBulk(c,key);&nbsp;//&nbsp;db.c:503 &nbsp;&nbsp;&nbsp;&nbsp;decrRefCount(key); } &nbsp; /*&nbsp;Return&nbsp;a&nbsp;random&nbsp;entry&nbsp;from&nbsp;the&nbsp;hash&nbsp;table.&nbsp;Useful&nbsp;to &nbsp;*&nbsp;implement&nbsp;randomized&nbsp;algorithms&nbsp;*/ dictEntry&nbsp;*dictGetRandomKey(dict&nbsp;*d)&nbsp;//&nbsp;dict.c:610 { &nbsp;&nbsp;&nbsp;&nbsp;dictEntry&nbsp;*he,&nbsp;*orighe; &nbsp;&nbsp;&nbsp;&nbsp;unsigned&nbsp;long&nbsp;h; &nbsp;&nbsp;&nbsp;&nbsp;int&nbsp;listlen,&nbsp;listele; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(dictSize(d)&nbsp;==&nbsp;0)&nbsp;return&nbsp;NULL; &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(dictIsRehashing(d))&nbsp;_dictRehashStep(d); &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(dictIsRehashing(d))&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;do&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*&nbsp;We&nbsp;are&nbsp;sure&nbsp;there&nbsp;are&nbsp;no&nbsp;elements&nbsp;in&nbsp;indexes&nbsp;from&nbsp;0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;to&nbsp;rehashidx-1&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;h&nbsp;=&nbsp;d-&gt;rehashidx&nbsp;+&nbsp;(random()&nbsp;%&nbsp;(d-&gt;ht[0].size&nbsp;+ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;d-&gt;ht[1].size&nbsp;- &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;d-&gt;rehashidx)); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;he&nbsp;=&nbsp;(h&nbsp;&gt;=&nbsp;d-&gt;ht[0].size)&nbsp;?&nbsp;d-&gt;ht[1].table[h&nbsp;-&nbsp;d-&gt;ht[0].size]&nbsp;: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;d-&gt;ht[0].table[h]; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;while(he&nbsp;==&nbsp;NULL); &nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;else&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;do&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;h&nbsp;=&nbsp;random()&nbsp;&amp;&nbsp;d-&gt;ht[0].sizemask;&nbsp;//&nbsp;dict.c:630 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;he&nbsp;=&nbsp;d-&gt;ht[0].table[h]; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;while(he&nbsp;==&nbsp;NULL); &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;/*&nbsp;Now&nbsp;we&nbsp;found&nbsp;a&nbsp;non&nbsp;empty&nbsp;bucket,&nbsp;but&nbsp;it&nbsp;is&nbsp;a&nbsp;linked &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;list&nbsp;and&nbsp;we&nbsp;need&nbsp;to&nbsp;get&nbsp;a&nbsp;random&nbsp;element&nbsp;from&nbsp;the&nbsp;list. &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;The&nbsp;only&nbsp;sane&nbsp;way&nbsp;to&nbsp;do&nbsp;so&nbsp;is&nbsp;counting&nbsp;the&nbsp;elements&nbsp;and &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;select&nbsp;a&nbsp;random&nbsp;index.&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;listlen&nbsp;=&nbsp;0; &nbsp;&nbsp;&nbsp;&nbsp;orighe&nbsp;=&nbsp;he; &nbsp;&nbsp;&nbsp;&nbsp;while(he)&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;he&nbsp;=&nbsp;he-&gt;next; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;listlen++; &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;listele&nbsp;=&nbsp;random()&nbsp;%&nbsp;listlen; &nbsp;&nbsp;&nbsp;&nbsp;he&nbsp;=&nbsp;orighe; &nbsp;&nbsp;&nbsp;&nbsp;while(listele--)&nbsp;he&nbsp;=&nbsp;he-&gt;next; &nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;he; } </td> 
 </tr> 
 </tbody> 
</table>

经过GDB分析，死循环发生在函数**dbRandomKey**中，其中的“**while(1)**”退不出来。亦即走不到退出循环语句“**if (de == NULL) return NULL;**”。

估计是个BUG，查看新版本（**5.0.4**）的实现（dictSize在4.0.9和5.0.4两个版本源文件中的位置不变）：

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> #define&nbsp;dictSize(d)&nbsp;((d)-&gt;ht[0].used+(d)-&gt;ht[1].used)&nbsp;//&nbsp;dict.h:147 &nbsp; /*&nbsp;Return&nbsp;a&nbsp;random&nbsp;key,&nbsp;in&nbsp;form&nbsp;of&nbsp;a&nbsp;Redis&nbsp;object. &nbsp;*&nbsp;If&nbsp;there&nbsp;are&nbsp;no&nbsp;keys,&nbsp;NULL&nbsp;is&nbsp;returned. &nbsp;* &nbsp;*&nbsp;The&nbsp;function&nbsp;makes&nbsp;sure&nbsp;to&nbsp;return&nbsp;keys&nbsp;not&nbsp;already&nbsp;expired.&nbsp;*/ robj&nbsp;*dbRandomKey(redisDb&nbsp;*db)&nbsp;{&nbsp;//&nbsp;db.c:235 &nbsp;&nbsp;&nbsp;&nbsp;dictEntry&nbsp;*de; &nbsp;&nbsp;&nbsp;&nbsp;int&nbsp;maxtries&nbsp;=&nbsp;100;&nbsp;//&nbsp;最多重试次数，可消除死循环，但是否起作用，还有两个前置条件 &nbsp;&nbsp;&nbsp;&nbsp;int&nbsp;allvolatile&nbsp;=&nbsp;dictSize(db-&gt;dict)&nbsp;==&nbsp;dictSize(db-&gt;expires); &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;while(1)&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sds&nbsp;key; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;robj&nbsp;*keyobj; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;de&nbsp;=&nbsp;dictGetRandomKey(db-&gt;dict); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(de&nbsp;==&nbsp;NULL)&nbsp;return&nbsp;NULL; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;key&nbsp;=&nbsp;dictGetKey(de); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;keyobj&nbsp;=&nbsp;createStringObject(key,sdslen(key)); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(dictFind(db-&gt;expires,key))&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(allvolatile&nbsp;&amp;&amp;&nbsp;server.masterhost&nbsp;&amp;&amp;&nbsp;--maxtries&nbsp;==&nbsp;0)&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*&nbsp;If&nbsp;the&nbsp;DB&nbsp;is&nbsp;composed&nbsp;only&nbsp;of&nbsp;keys&nbsp;with&nbsp;an&nbsp;expire&nbsp;set, &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;it&nbsp;could&nbsp;happen&nbsp;that&nbsp;all&nbsp;the&nbsp;keys&nbsp;are&nbsp;already&nbsp;logically &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;expired&nbsp;in&nbsp;the&nbsp;slave,&nbsp;so&nbsp;the&nbsp;function&nbsp;cannot&nbsp;stop&nbsp;because &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;expireIfNeeded()&nbsp;is&nbsp;false,&nbsp;nor&nbsp;it&nbsp;can&nbsp;stop&nbsp;because &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;dictGetRandomKey()&nbsp;returns&nbsp;NULL&nbsp;(there&nbsp;are&nbsp;keys&nbsp;to&nbsp;return). &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;To&nbsp;prevent&nbsp;the&nbsp;infinite&nbsp;loop&nbsp;we&nbsp;do&nbsp;some&nbsp;tries,&nbsp;but&nbsp;if&nbsp;there &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;are&nbsp;the&nbsp;conditions&nbsp;for&nbsp;an&nbsp;infinite&nbsp;loop,&nbsp;eventually&nbsp;we &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;return&nbsp;a&nbsp;key&nbsp;name&nbsp;that&nbsp;may&nbsp;be&nbsp;already&nbsp;expired.&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;keyobj; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(expireIfNeeded(db,keyobj))&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;decrRefCount(keyobj); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;continue;&nbsp;/*&nbsp;search&nbsp;for&nbsp;another&nbsp;key.&nbsp;This&nbsp;expired.&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;keyobj; &nbsp;&nbsp;&nbsp;&nbsp;} } </td> 
 </tr> 
 </tbody> 
</table>

确定4.0.9版本的“if (**allvolatile **&& **server.masterhost** && --maxtries == 0) \{”是否成立：

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> (gdb)&nbsp;p&nbsp;db-&gt;dict-&gt;ht[0].used $11&nbsp;=&nbsp;1 (gdb)&nbsp;p&nbsp;db-&gt;dict-&gt;ht[1].used&nbsp; $12&nbsp;=&nbsp;0 (gdb)&nbsp;p&nbsp;server.masterhost $13&nbsp;=&nbsp;0x7f5da7221f41&nbsp;"10.11.34.35" </td> 
 </tr> 
 </tbody> 
</table>

显然是可以进入if语句退出循环的，因此可以确定这是一个BUG，并且5.0.4版本已经修复了该问题，往前查4.0.11版本的实现已和5.0.4版本相同，也许更早的版本就已经修复了该问题。

通过查看[RELEASENOTES][]，确定这个BUG是在4.0.11中修复的：

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> antirez&nbsp;in&nbsp;commit&nbsp;ab145a9f: &nbsp;Fix&nbsp;infinite&nbsp;loop&nbsp;in&nbsp;dbRandomKey(). &nbsp;1&nbsp;file&nbsp;changed,&nbsp;13&nbsp;insertions(+) </td> 
 </tr> 
 </tbody> 
</table>

[20190321162955302.png]: /images/20220301/7a8e8919014344e7a27ea49a8d500f9c.png
[RELEASENOTES]: https://raw.githubusercontent.com/antirez/redis/4.0/00-RELEASENOTES