Hbase offHeap(堆外内存)测试

悠悠 2022-02-09 10:11 425阅读 0赞

Hbase offHeap(堆外内存)测试  
blockcache是hbase中的读缓存，其主要组成包括LruCache和bucketCache，LruCache使用堆内内存，BucketCache使用堆外内存。本文是想对比hbase只用堆内内存作为读缓存（即只用LruCache）以及尝试配置BucketCache。以观察是否可以来减少GC，提高集群性能。

一、配置  
使用两台同等规格的服务器，简称为主机A和主机B.

hbase使用堆内存总量均为8000M。

主机A为不配置堆外内存的主机，只使用0.39\*8000=3120M堆内内存。相关参数为

<property>  
<name>hfile.block.cache.size</name>  
<value>0.39</value>  
</property>  
主机B配置了堆外内存和堆内内存，堆内内存为0.1\*8000=800M，堆外内存为3172M，由于使用双重缓存后只有indexblock和bloomblock会存在堆内，datablock都会存在堆外，这一配置基本合理且总读缓存大小和主机A相差不大。由于设置相关参数为

<property>  
<name>hbase.bucketcache.ioengine</name>  
<value>offheap</value>  
</property>  
<property>  
<name>hfile.block.cache.size</name>  
<value>0.1</value>  
</property>  
<property>  
<name>hbase.bucketcache.size</name>  
<value>3172</value>  
</property>  
HBASE\_OFFHEAPSIZE = 4G  
二、测试方式。  
主要观察点是读时间和GC情况。

使用hbase自带的性能评估工具HBase performanceEvaluation来做读写测试。

具体脚本如下

\#首先写入一亿数据。  
hbase pe --rows=100000000 --nomapred sequentialWrite 1 >> newTest.log 2>&1  
\#flush成hfile  
echo "flush '"TestTable"'" | hbase shell  
\#重启hbase将gc数量归零  
dbserver.sh restart\_server\_all hbase  >> newTest.log 2>&1  
sleep 60s  
\#读取数据1000W数据10次  
for((i=0;i<=10;i++)); do  
    hbase pe --rows=10000000 --nomapred randomRead 1 >>newTest.log 2>&1  
done  
sleep 600s  
\#读取100W数据重复100次  
for((i=0;i<=100;i++)); do  
    hbase pe --rows=1000000 --nomapred sequentialWrite 1 >> newTest.log 2>&1  
    hbase pe --rows=1000000 --nomapred randomRead 1 >> newTest.log 2>&1  
done  
\#最后打印gc情况  
jstat -gcutil \`jps |grep HRegion|awk '\{print $1\}'\` >> newTest.log 2>&1  
三.测试结果比较  
1、 所有读取总时间比较  
采集了读取时间的信息，发现总体来讲A、B不存在明显的读性能差异。

2、gc情况比较  
测试完成后观察两个机器的GC情况，发现使用堆外内存的相比未使用的，YGC还是FGC次数都相当，总的GC时间  
缩短，主要体现在YGC时间缩短约20s。YGC时间减少是由于存放在堆内内存的block减少.

3、BlockCache使用情况  
 hbase-root-regionserver-node1.log日志会每五分钟打印一次目前BlockCache使用情况，观察A、B在读取数据阶  
段（09/07 18:30- -09/08 8:50）的BlockCache。  
主机A只使用堆内内存(LruCache），初始化blockcache如下：

在读取过程中基本保持着固定的缓存（1020.01MB)

主机B使用堆外内存和堆内内存组合的CombinedCache，初始化BlockCache如下:

在读取过程中基本保持着固定的缓存，其中堆内内存使用量极少，因为DataBlock大部分在堆外存储  
（1008.39MB）

4、其他的情况说明  
 之前通过调用thrift读接口的方式进行测试，但发现BlockCache占用不明显，因此改用HBase PE来测试。自写的程  
序效果不明显的主要原因是DBE中HBase有10W的最大读取量，且offset总是从0开始，除非是非常长时间的读取，  
否则10W读取量只占很少的BlockCahce。HBase PE虽然也是offset从0开始，但是没有对于读取量的限制，一次性  
读取尽量多的数据，BlockCache的占用就可以明显的看出。

四. 总结  
 配置了堆外内存的机器和未配置的相比：  
1、读性能接近，没有明显区别。  
2、使用上述测试用例，YGC次数和FGC次数差别不大，但是YGC的时间从29s降为9s，有20s的缩短