找redis大key工具rdb_bigkeys

梦里梦外; 2024-03-10 07:40 331阅读 0赞

**github官网**  
[https://github.com/weiyanwei412/rdb\_bigkeys][https_github.com_weiyanwei412_rdb_bigkeys]  
**在centos下安装go**

[root@hadoop102 rdb_bigkeys-master]# wget https://dl.google.com/go/go1.13.5.linux-amd64.tar.gz
    [root@hadoop102 rdb_bigkeys-master]# tar -zxf go1.13.5.linux-amd64.tar.gz -C /usr/local

将go添加到环境变量

export GO111MODULE=on
    export GOROOT=/usr/local/go
    export GOPATH=/home/gopath
    export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

保存退出后使用环境变量生效

source /etc/profile

初始化go  
go mod init 【module名】

[root@hadoop102 redis_bigkey]# go mod init rdb_bigkeys-master

换一个中国的proxy，不然go get会报错

go env -w GOPROXY=https://goproxy.cn

编译

go get
    go build

![在这里插入图片描述][b5a615bdacbd48b592b87f05394b95fd.png]  
编译出了可执行文件  
![在这里插入图片描述][63fc47da680b45e78b8a2e6ef5c1fbd9.png]

[root@hadoop102 rdb_bigkeys]# ./rdb_bigkeys --bytes 1024 --file bigkeys.csv --sep 0 --sorted --threads 4 dump.rdb

![在这里插入图片描述][bdb30ef082fb4682a9923dc25a8857b8.png]

![在这里插入图片描述][85514a42c2164559a052ec34a39588cb.png]

每列分别为数据库编号，key类型，key名，key大小，元素数量，最大值元素名，元素大小，key过期时间。  
![在这里插入图片描述][3c0be6b3c56d430cade9e9391dd4a15e.png]

rdb-bigkeys 在高版本的 rdb文件不能使用，我的redis 6 报错不能分析  
panic: rdb: invalid RDB version number 9

**报错原因**  
报错原因主要是因为代码对rdb解析的时候获取版本的处理有问题  
我们看下代码

# 619行-636行
    func (d *decode) checkHeader() error {
        
    	header := make([]byte, 9)
    	_, err := io.ReadFull(d.r, header)
    	if err != nil {
        
    		return err
    	}
    
    	if !bytes.Equal(header[:5], []byte("REDIS")) {
        
    		return fmt.Errorf("rdb: invalid file format")
    	}
    //可以看到这里面取的是header[5:],而我们cat一个dump.rdb，可以发现其内部数据是这样REDIS0009�	redis-ver6.0.10�，所以这里真实的版本是6，但是取的版本号是9,所以会有这个报错
    	version, _ := strconv.ParseInt(string(header[5:]), 10, 64)
    	if version < 1 || version > 7 {
        
    		return fmt.Errorf("rdb: invalid RDB version number %d", version)
    	}
    
    	return nil
    }

**解决方案**  
1.fork项目  
将github.com/cupcake/rdb的项目fork到自己的github账户下，只需要在github上对应项目界面点击fork按钮集合  
![在这里插入图片描述][0d350afc81364db0b4874c2881aa2dde.png]

**更改自己的rdb项目的decoder.go文件**  
注释630-634行，然后提交变更，这里我感觉这里的version校验没有任何意义，所以这里接直接注释了，如果你有更好的办法也可以自己改

fork到自己仓库注释掉下面四行  
![在这里插入图片描述][9e4229b5972b480cb15215c8794fa4a3.png]

**更改rdb\_bigkeys下的rdb\_bigkeys.go文件**  
![在这里插入图片描述][84b2334a8a194325bfefbd6aca4ec26e.png]  
重新进行build

rm -rf go.sum
    rm -rf go.mod
    go clean -modcache
    go mod init rdb_bigkeys
    go mod tidy
    go build

![在这里插入图片描述][78ff7c79572c410fa05055f429091d3f.png]

[https_github.com_weiyanwei412_rdb_bigkeys]: https://github.com/weiyanwei412/rdb_bigkeys
[b5a615bdacbd48b592b87f05394b95fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/10/ba3e8a1a3b424d0a95502c47b3905f3f.png
[63fc47da680b45e78b8a2e6ef5c1fbd9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/10/ad1060fab1024b50aaa202ab4ccce126.png
[bdb30ef082fb4682a9923dc25a8857b8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/10/6005b94ac50f4d8f9b325a40d89fbf2b.png
[85514a42c2164559a052ec34a39588cb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/10/509f3575564f447483627b01aaae318f.png
[3c0be6b3c56d430cade9e9391dd4a15e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/10/9a3f3db3575c4e28a0b46fb6701fb0f5.png
[0d350afc81364db0b4874c2881aa2dde.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/10/f1aed36b7fa64e8d91c6d31625cf5a24.png
[9e4229b5972b480cb15215c8794fa4a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/10/b1b36b386c1a4f039808254574092116.png
[84b2334a8a194325bfefbd6aca4ec26e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/10/386aa6b1a24e42cba24a2400fa70638c.png
[78ff7c79572c410fa05055f429091d3f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/10/75d2df38f9014d6fa241f6c11dcfc357.png