Memcached 1.2 内存模型分析(zz)

Bertha 。 2022-08-13 00:38 180阅读 0赞

原贴:http://blog.alwaysmylove.net/2008/04/16/memcached-12-models/

## [ Memcached 1.2 内存模型分析(zz) ][Memcached 1.2 _zz_] ##

[Linux][] 标签: [Linux][Linux 1], [memcached][]  
 点击次数: 360  2008年04月16日 01:01:43 星期三

> [http://www.phpcup.cn/viewthread.php?tid=45&extra=page%3D1][http_www.phpcup.cn_viewthread.php_tid_45_extra_page_3D1]

一相关资源  
1关于什么是  
[http://www.danga.com/memcached/][http_www.danga.com_memcached]  
2关于Memcached的使用方法及协议参考:[http://blog.csdn.net/heiyeshuwu/archive/2006/11/13/1380838.aspx][http_blog.csdn.net_heiyeshuwu_archive_2006_11_13_1380838.aspx]  
3比较全面分析Memcached的参考：  
[http://www.fulin.org/blog/2007/04/memcached/][http_www.fulin.org_blog_2007_04_memcached]  
二内存模型分析  
1基本概念介绍  
1)item:存储的最小单位,当每一个Key-Value值通过Memcached存储时，Memcached查找一个空闲的item存入其中.  
2)slab:Memcached分配的一个内存块,默认大小为1Mb,里面存储了一定数目的item.

2分配初始化  
当启动起Memcached后，程序先根据输入的各种参数进行相应的配置，配置结束后就开始对程序中的各种数据结构进行初始 化，其中slabs\_init，就是对slabclass的初始化，而slabclass是Memcached内存模型中比较重要的一个数据结构。它被定 义成一个slabclass\_t数组，大小是201（程序从1开始计数，实际使用200个），主要是对分配的内存进行管理。结构如下：  
在这个结构 中要注意的是每一个数组成员中size的大小是不一样的，在默认情况下是按factor^n(默认为2)在赋值，如第一个数组成员是1byte，则第二个 为2byte,第三个为4……….，当大小为slab大小的一半时,停止赋值,并在停止赋值的下一个数组成员内，将大小设置成默认大小1Mb，此时这个 slab中只有一个item，大小为1Mb.代码如下：  
在memcached中还支持预分配，就是说当你指定好要分配的大小时，如果启动预分配，Memcached将会把这些空间一下全部分配给你，避免以后频繁的分配操作，提高效率，默认情况下是开启这项功能的。程序如下：  
当系统将预分配的内存分配好，slabclass\_t初步设置之后，会将已经分配的内存的一部分以slab的形式预先与一部分slabclass\_t数组的成员联系在一起(设置size大小的). 这项功能主要是由slabs\_preallocate提供。  
在 slabs\_preallocate中通过一个遍历，对所有设置size大小的slabclass\_t成员调用do\_slabs\_newslab，而在 do\_slabs\_newslab中完成内存分配的是memory\_allocate函数。完成后在对slabclass\_t相应成员进行设置：  
在 这里还要注意的是，在do\_slabs\_newslab中还调用了一个函数grow\_slab\_list，这个函数是给slabclass\_t成员分配更 多的slab指针数组，以便于以后分配更多的slab，默认开始的时候是16，但当出现slab不够用的时候以2倍的数目增长。程序如下：  
此时就完成了slabclass\_t的初始化，内存模型为：  
3关于item  
item是数据最终要存入的数据结构，它的大体结构如下(还有一些成员，全面了解可查看源代码)：  
自己一开始对item与hash表以及在slab中的存储方式有些疑惑，后来看到这个结构的时候明白了。  
在 item中有一个next和prev，它们组成了一个双向链表，是存储在slab结构中的，而还有一个h\_next指针，这个是用来指向在同一个hash 表项中其它的数据，当要检索数据的时候，通过hash函数找到hash项，然后通过h\_next遍历这个链查询数据。在slab的储存中则使用item的 大小来定位到底存储在哪一个大小的slab中，找到slabclass\_t数组序号后，可以通过它指向最后一项的指针效率很高的将这个新的item插入其 中，然后在通过hash值建立与hash表的联系，这样整个Memcached的内存模型就建立起来了。  
我这里的图形工具不太好用(主要自己不太会),这个图就不画了，不过网上有一个可以借鉴一下:  
当 时看这个图的时候就是对hash表的item1与存储在slab中的item1有点困惑，其实它们都是一项，在图中item1,item2,item3是 有着相同的hash值通过h\_next连接在一起，而item1与item4是两个存储在同一个slab的相邻item项，其实它们是双向连接的，图中没 有画出。  
后记：  
这是自己第一次写这样的技术性文章，而且代码也是草草看得，可能有很多地方存在疏漏甚至错误，所以还请大家谅解，有什么需要交流的地方随时联系我，很希望和喜好技术的朋友分享知识。

[Memcached 1.2 _zz_]: http://blog.alwaysmylove.net/2008/04/16/memcached-12-models/
[Linux]: http://blog.alwaysmylove.net/category/linux/
[Linux 1]: http://blog.alwaysmylove.net/tag/linux/
[memcached]: http://blog.alwaysmylove.net/tag/memcached/
[http_www.phpcup.cn_viewthread.php_tid_45_extra_page_3D1]: http://www.phpcup.cn/viewthread.php?tid=45&extra=page%3D1
[http_www.danga.com_memcached]: http://www.danga.com/memcached/
[http_blog.csdn.net_heiyeshuwu_archive_2006_11_13_1380838.aspx]: http://blog.csdn.net/heiyeshuwu/archive/2006/11/13/1380838.aspx
[http_www.fulin.org_blog_2007_04_memcached]: http://www.fulin.org/blog/2007/04/memcached/