Redis内部数据结构详解(1)——dict

深藏阁楼爱情的钟 2022-02-05 03:47 258阅读 0赞

dict是一个用于维护key和value映射关系的数据结构，与很多语言中的Map或dictionary类似。Redis的一个database中所有key到value的映射，就是使用一个dict来维护的。不过，这只是它在Redis中的一个用途而已，它在Redis中被使用的地方还有很多。比如，一个Redis hash结构，当它的field较多时，便会采用dict来存储。再比如，Redis配合使用dict和skiplist来共同维护一个sorted set。这些细节我们后面再讨论，在本文中，我们集中精力讨论dict本身的实现。

dict本质上是为了解决算法中的查找问题（Searching），一般查找问题的解法分为两个大类：一个是基于各种平衡树，一个是基于哈希表。我们平常使用的各种Map或dictionary，大都是基于哈希表实现的。在不要求数据有序存储，且能保持较低的哈希值冲突概率的前提下，基于哈希表的查找性能能做到非常高效，接近O(1)，而且实现简单。

在Redis中，dict也是一个基于哈希表的算法。和传统的哈希算法类似，它采用某个哈希函数从key计算得到在哈希表中的位置，采用拉链法解决冲突，并在装载因子（load factor）超过预定值时自动扩展内存，引发重哈希（rehashing）。Redis的dict实现最显著的一个特点，就在于它的重哈希。它采用了一种称为增量式重哈希（incremental rehashing）的方法，在需要扩展内存时避免一次性对所有key进行重哈希，而是将重哈希操作分散到对于dict的各个增删改查的操作中去。这种方法能做到每次只对一小部分key进行重哈希，而每次重哈希之间不影响dict的操作。dict之所以这样设计，是为了避免重哈希期间单个请求的响应时间剧烈增加，这与前面提到的“快速响应时间”的设计原则是相符的。

下面进行详细介绍。

## dict的数据结构定义 ##

为了实现增量式重哈希（incremental rehashing），dict的数据结构里包含两个哈希表。在重哈希期间，数据从第一个哈希表向第二个哈希表迁移。

dict的C代码定义如下（出自Redis源码dict.h）：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R3dDkzNjQ1Nzk5MQ_size_16_color_FFFFFF_t_70]![在这里插入图片描述][20190504184417264.png]  
为了能更清楚地展示dict的数据结构定义，我们用一张结构图来表示它。如下。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R3dDkzNjQ1Nzk5MQ_size_16_color_FFFFFF_t_70 1]  
结合上面的代码和结构图，可以很清楚地看出dict的结构。一个dict由如下若干项组成：

*  一个指向dictType结构的指针（type）。它通过自定义的方式使得dict的key和value能够存储任何类型的数据。
 *  一个私有数据指针（privdata）。由调用者在创建dict的时候传进来。
 *  两个哈希表（ht\[2\]）。只有在重哈希的过程中，ht\[0\]和ht\[1\]才都有效。而在平常情况下，只有ht\[0\]有效，ht\[1\]里面没有任何数据。上图表示的就是重哈希进行到中间某一步时的情况。
 *  当前重哈希索引（rehashidx）。如果rehashidx = -1，表示当前没有在重哈希过程中；否则，表示当前正在进行重哈希，且它的值记录了当前重哈希进行到哪一步了。
 *  当前正在进行遍历的iterator的个数。这不是我们现在讨论的重点，暂时忽略。

dictType结构包含若干函数指针，用于dict的调用者对涉及key和value的各种操作进行自定义。这些操作包含：

*  hashFunction，对key进行哈希值计算的哈希算法。
 *  keyDup和valDup，分别定义key和value的拷贝函数，用于在需要的时候对key和value进行深拷贝，而不仅仅是传递对象指针。
 *  keyCompare，定义两个key的比较操作，在根据key进行查找时会用到。
 *  keyDestructor和valDestructor，分别定义对key和value的析构函数。
 *  私有数据指针（privdata）就是在dictType的某些操作被调用时会传回给调用者。
 *  需要详细察看的是dictht结构。它定义一个哈希表的结构，由如下若干项组成：
 *  一个dictEntry指针数组（table）。key的哈希值最终映射到这个数组的某个位置上（对应一个bucket）。如果多个key映射到同一个位置，就发生了冲突，那么就拉出一个dictEntry链表。
 *  size：标识dictEntry指针数组的长度。它总是2的指数。
 *  sizemask：用于将哈希值映射到table的位置索引。它的值等于(size-1)，比如7, 15, 31, 63，等等，也就是用二进制表示的各个bit全1的数字。每个key先经过hashFunction计算得到一个哈希值，然后计算(哈希值 & sizemask)得到在table上的位置。相当于计算取余(哈希值 % size)。
 *  used：记录dict中现有的数据个数。它与size的比值就是装载因子（load factor）。这个比值越大，哈希值冲突概率越高。

\-dictEntry结构中包含k, v和指向链表下一项的next指针。k是void指针，这意味着它可以指向任何类型。v是个union，当它的值是uint64\_t、int64\_t或double类型时，就不再需要额外的存储，这有利于减少内存碎片。当然，v也可以是void指针，以便能存储任何类型的数据。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R3dDkzNjQ1Nzk5MQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190504184401576.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R3dDkzNjQ1Nzk5MQ==,size_16,color_FFFFFF,t_70
[20190504184417264.png]: /images/20220205/57b8031f908c4271b7caff87ebc8965a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R3dDkzNjQ1Nzk5MQ_size_16_color_FFFFFF_t_70 1]: /images/20220205/7d664b4de2544f988e19c96053fbf785.png