go-diskqueue数据结构

ゞ浴缸里的玫瑰 2022-12-01 12:21 95阅读 0赞

**一、本文目的是介绍go-diskqueue**

go-diskqueue，应用于nsq：[https://github.com/nsqio/nsq][https_github.com_nsqio_nsq]，作用是存储内存装不下的消息到磁盘，并支持读取。

go-diskqueue：[https://github.com/yudongdai/go-diskqueue/blob/master/diskqueue.go][https_github.com_yudongdai_go-diskqueue_blob_master_diskqueue.go](注释版)

# 二、文件的组织 #

## 2.1文件的组成 ##

2.1.1 元数据，文件名格式如下：\{TopicName\}.diskqueue.meta.dat，每个Topic只会存在1个文件  
2.1.2 文件数据，文件名格式如下：\{TopicName\}.diskqueue.\{num\}.dat，因为限制了单文件大小，每个Topic只会存在多个文件，当一个文件按编号递增

## 2.2数据结构 ##

2.2.1元数据文件，记录着写了多少消息到磁盘，写到哪个编号文件了，读到哪个编号文件了，读的偏移量：

_, err = fmt.Fprintf(f, "%d\n%d,%d\n%d,%d\n",
        d.depth, //落地消息个数
        d.readFileNum, d.readPos, //读文件编号，读文件的当前偏移量
        d.writeFileNum, d.writePos) //文件编号，写文件当前偏移量

![20200828211233501.png][]

2.2.2数据文件，格式比较简单。限制单文件的大小，当文件大小达到阈值时，文件数据编号自增1：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhaXl1ZG9uZzIwMjA_size_16_color_FFFFFF_t_70][]读取数据时，先读取消息长度，再读内容。

// 先读出消息的大小
    	err = binary.Read(d.reader, binary.BigEndian, &msgSize)
    	if err != nil {
    		d.readFile.Close()
    		d.readFile = nil
    		return nil, err
    	}

--------------------

# 总结 #

1.go-diskqueue代码量只有600多行，有比较多精妙设计，值得一看。

2.fsync在diskqueue中也会应用，尤其是元数据落地。

3.注意大小端问题

原文出自：[https://blog.csdn.net/daiyudong2020/article/details/108250750][https_blog.csdn.net_daiyudong2020_article_details_108250750]

[https_github.com_nsqio_nsq]: https://github.com/nsqio/nsq
[https_github.com_yudongdai_go-diskqueue_blob_master_diskqueue.go]: https://github.com/yudongdai/go-diskqueue/blob/master/diskqueue.go
[20200828211233501.png]: /images/20221123/04952978f02f423180fb9903bcf84a4d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhaXl1ZG9uZzIwMjA_size_16_color_FFFFFF_t_70]: /images/20221123/6e4557f2bb7f47739e4cae572fef0c41.png
[https_blog.csdn.net_daiyudong2020_article_details_108250750]: https://blog.csdn.net/daiyudong2020/article/details/108250750