Redis数据结构——字典-hashtable

电玩女神 2021-09-23 16:14 410阅读 0赞

**字典简介：**

字典，又称为符号表（symbol table）、关联数组（associative array）或映射（map），是一种用于保存键值对的抽象数据结构。

字典是一种用于保存键值对的抽象数据结构。由于C没有内置这种数据结构，Redis构建自己的字典实现。

Redis的数据库就是使用字典来作为底层实现的。字典还是哈希键的底层实现之一。

除了用来实现数据库之外，字典还是哈希键的底层实现之一，当一个哈希键包含的键值对比较多，又或者键值对中的元素都是比较长的字符串时，Redis就会使用字典作为哈希键的底层实现。

**1、字典实现**

Redis的字典使用哈希表作为底层实现，一个哈希表里面可以有多个哈希表节点，而每个哈希表节点就保存了字典中的一个键值对。

1.1、哈希表定义

typedef struct dictht {
        //哈希表数组
        dictEntry **table;
        //哈希表大小
        unsigned long size;
        //哈希表大小掩码，总是等于size-1
        unsigned long sizemask;
        //该哈希表已有节点数量
        unsigned long used;
    }

table属性是一个数组，数组中的每个元素都是一个指向dict.h/ dictEntry结构的指针，每个dictEntry结果保存着一个键值对。size属性记录了哈希表的大小，也即是table数组的大小，而used属性则记录了哈希表目前已有节点（键值对）的数量。sizemask属性的值总是等于size-1，这个属性和哈希值一起决定了一个键应该被放到table数组的哪个索引上面。下图是一个空哈希表。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70][]

1.2、哈希表节点

typedef struct dictEntry {
        void *key;
        union{
            void *val;
            uint64_t u64;
            int64_t s64;
        } v;
        //指向下个哈希表节点，形成链表----解决哈希冲突
        struct dictEntry *next;
    } dictEntry;

key属性保存着键值对中的键，而v属性保存着键值对中的值，其中键值对的值可以是一个指针，或者是一个uint64整数或者是一个int64\_t整数。

next属性是指向另一个哈希表节点的指针，这个指针可以将多个哈希值相同的键值对连接在一起，以此来解决键冲突（collision）的问题。

下图展示了将两个索引值相同的键k1和k0连接在一起。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 1][]

1.3、字典

typedef struct dict {
        //类型特定函数
        dictType *type;
        //私有数据
        void *privdata;
        //哈希表
        dictht ht[2];
        //rehash索引，当rehash不进行时，为-1
        int rehashidx;
    }

type属性和privdata属性是针对不同类型的键值对，为创建多态字典而设置的

type：一个指向ditcType结构的指针，每个ditcType结构保存了一簇用于操作特定类型键值对的函数，redis回味用途不同的字典设置不同的类型特定函数。

privdata：保存了需要传给那些类型特定函数的的可选参数。

ht属性包含两个项的数组，字典只使用ht\[0\]哈希表，ht\[1\]哈希表只会在对ht\[0\]进行rehash时使用。

除了ht\[1\]之外，另一个和rehash有关的属性就是rehashidx，它记录了rehash目前的进度，如果目前没有在进行rehash，那么它的值-1。

下图是一个普通状态下的字典

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 2][]

**2、解决键冲突**

当有两个或以上数量的键被分配到了哈希表数组的同一个索引上面时，我们称这些键发生了冲突。

Redis的哈希表使用链地址法来解决键冲突，每个哈希表节点都有一个next指针，多个哈希表节点可以用next指针构成一个单向链表，被分配到同一个索引上的多个节点可以用这个单向链表连接起来，这就解决了键冲突的问题。

因为dictEntey节点组成的链表没有指向链表表尾的指针，所以为了速度考虑，程序总是将新节点添加到链表的表头位置（复杂度为0（1）），排在其他已有节点的前面。下图为k2加入到哈希表中出现冲突，加入到链表头之后的情况。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 3][]

**3、rehash**

随着操作不断进行，哈希表保存的键值会逐渐增多或者减少，为了让哈希表负载因子维持在一个合理范围之内，当哈希表保存的键值数量太多或者太少时，就会对哈希表进行相应的扩展或者收缩。

扩展和收缩通过执行rehash（重新散列）操作来执行。步骤如下：

1）为字典ht\[1\]哈希表分配空间，空间大小取决于要执行的操作，以及ht\[0\]当前包含的键值对数量：

*  如果扩展，ht\[1\]大小等于ht\[0\].used\*2\*2n(2的n次方幂)。
 *  如果收缩，ht\[1\]大小等于ht\[0\].used的2n(2的n次方幂)。

2）将ht\[0\]中的所有键值对rehash到ht\[1\]上面；rehash指的是重新计算键的哈希值和索引值，然后放到指定位置上。

3）当ht\[0\]所有的键值对都迁移过去后，将ht\[1\]设置为ht\[0\],并未ht\[1\]创建新的空白哈希表，为下一次rehash做准备。

举个例子，如下图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 4][]

1、ht\[0\].used当前的值为4，4\*2=8，而8（2^3）恰好是第一个大于等于4的2的n次方，所以程序会将ht\[1\]

哈希表的大小设置为8。下图展示了ht\[1\]分配空间之后，字典的样子。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 5][]

2、 将ht\[0\]包含的四个键值对都rehash到ht\[1\]，如下图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 6][]

3、 释放ht\[0\]，并将ht\[1\]设置为ht\[0\]，然后为ht\[1\]分配一个空白哈希表，如下图，至此，哈希表的扩展操作执行完毕。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 7][]

**自动执行扩展操作条件：**

1.  服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令，并且负载因子大于等于1
2.  服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令，并且负载因子大于等于5

当哈希表负载因子小于0.1时，程序自动开始对哈希表执行收缩操作。

负载因子=哈希表已保存节点数量/哈希表大小   load\_factor = ht\[0\].used / ht\[0\].size

**4、渐进式rehash**

rehash操作并不是一次性、集中式完成的，而是分多次、渐进式完成的。如果在数据量很大的情况下，一次性操作可能会导致服务器一段时间内停止服务。

因此，为了避免rehash对服务器性能造成影响，服务器不是一次性将ht\[0\]里面的所有键值对全部rehash到ht\[1\]，而是分多次、渐进式的进行。

以下是哈希表渐进式rehash的详细步骤：

1 为ht\[1\]分配空间，让字典同时持有ht\[0\]和ht\[1\]两个哈希表。

2 在字典中维持一个索引计数器变量rehashidx，并将它的值设置为0，表示rehash工作正式开始。

3 在rehash进行期间，每次对字典执行添加、删除、查找或者更新时，程序除了执行指定的操作以外，还顺带将ht\[0\]哈希表在rehashidx索引上的所有键值对rehash到ht\[1\]，当rehash工作完成之后，程序将将rehashidx属性的值增一。

4 随着字典操作的不断执行，最终在某个时间点上，ht\[0\]的所有键值对都会被都会被rerhash至ht\[1\]，这时程序程序将rehashidx属性的值设为-1，表示rehash操作已完成。

渐进式rehash的好处在于它采取分而治之的方式，将rehash键值对所需的计算工作均摊到对字典的每个添加、删除、查找和更新操作上，从而避免了集中式rehash而带来的庞大计算量。

**5、渐进式rehash执行期间的哈希表操作**

进行渐进式rehash的过程中，字典同时使用ht\[0\]和ht\[1\]两个哈希表，所以在渐进式rehash进行期间，字典的删除、查找、更新等操作会在两个哈希表上进行。另外，新添加到字典的键值对一律保存到ht\[1\]里面，而ht\[0\]则不再进行任何添加操作。这一措施保证了ht\[0\]包含的键值对数量会只减不增，并随着rehash操作的执行而最终变成空表。。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70]: /images/20210923/59e6e02fa2924df9bed8ddb00f9f7568.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 1]: /images/20210923/b43081d3de074b94ba4ea83044544837.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 2]: /images/20210923/e9932635c2e845aab67b9a7956113180.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 3]: /images/20210923/7582ed70842d4a4ab566f4fe520fba3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 4]: /images/20210923/e2df52dd2b1347ea9494640e72df5301.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 5]: /images/20210923/b38e1c73b7c04ee9b886f0ba6d39e89b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 6]: /images/20210923/b8a47c4ba0c84ae8b00697538508bfc6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnd1ZmVpeWFuZw_size_16_color_FFFFFF_t_70 7]: /images/20210923/7266f3fde2304a14884664c221bcf28d.png