HIVE文件存储格式的测试比较

素颜马尾好姑娘i 2022-03-16 06:22 254阅读 0赞

[![7098bedfgb8934e802bce_690][]][7098bedfgb8934e802bce_690 1]

根据自身涉及到的数据分布和使用需求，对HIVE上的三类文件格式做了如下测试，指导HIVE的文件格式选型。测试存在环境、数据分布、测试偏重点的不同，本测试只供参考，不作为大家选型决策的绝对指导。

HIVE的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成N个row group，在row group中对每个列分别进行存储。

基于HDFS的行存储具备快速数据加载和动态负载的高适应能力，因为行存储保证了相同记录的所有域都在同一个集群节点。但是它不太满足快速的查询响应时间的要求，因为当查询仅仅针对所有列中的少数几列时，它就不能跳过不需要的列，直接定位到所需列；同时在存储空间利用上，它也存在一些瓶颈，由于数据表中包含不同类型，不同数据值的列，行存储不易获得一个较高的压缩比。RCFILE是基于SEQUENCEFILE实现的列存储格式。除了满足快速数据加载和动态负载高适应的需求外，也解决了SEQUENCEFILE的一些瓶颈。

接下来就针对压缩比、数据加载、查询响应角度对HIVE的三种文件格式进行比较，主要比较对象为SEQUENCEFILE和RCFILE，因为TEXTFILE在压缩后不能发挥MapReduce的并行处理能力，所以此文件格式不会被我们采用。

--------------------

压缩比

测试数据为1月11号产品表的当前数据，利用此数据保存到三张表，分别采用三种文件格式，压缩方式统一为gzip

存储格式               文件大小

TEXTFILE               21.4GB

SEQUENCEFILE     22.3GB

RCFILE                  18.0GB

RCFILE的压缩比优于SEQUENCEFILE。

![Image 1][]

上图是HADOOP的不同压缩方法的一个性能对比图(摘自《pro hadoop》第5章)，其中gzip是空间和时间比较折中的压缩方法，后续测试也反应了这一点。

--------------------

数据加载

[![7098bedfgb893521c3930_690][]][7098bedfgb893521c3930_690 1]

![Image 1][]

上图是三类文件格式的数据插入不同压缩类型，不同文件格式的数据加载时间对比图。

1.同一份数据的加载时间为lzo < gzip < bz2和不同压缩方式性能对比图的结果一致。

2.目标表为SEQUENCEFILE的数据加载时间优于TEXTFILE和RCFILE。

--------------------

查询响应

测试1：

数据表wp\_product\_target包含62个字段，字段类型包含：BIGINT、DOUBLE、STRING。

执行如下两种SQL查询：

方案一，测试整行记录的查询效率：

select \* from wp\_product\_target where product\_id like '480523%';

方案二，测试特定列的查询效率：

select product\_id, gmt\_create, dw\_end\_date from wp\_product\_target where product\_id like '480523%';

![Image 1][]

[![7098bedfgb89357099f93_690][]][7098bedfgb89357099f93_690 1]

上图反映了RCFILE的查询效率都优于SEQUENCEFILE。

测试2：

数据表wp\_product\_detail包含8个字段，只取了product\_id和description两个字段做测试。product\_id的数据占用存储为：447MB，description的数据占用存储为：89697MB。

本测试目的是验证RCFILE的数据读取方式和Lazy解压方式是否有性能优势。数据读取方式只读取元数据和相关的列，节省IO；Lazy解压方式只解压相关的列数据，对不满足where条件的查询数据不进行解压，IO和效率都有优势。

方案一：

> insert overwrite local directory '/home/dwapp/hugh.wangp'
> 
> select product\_id, description
> 
> from wp\_product\_detail
> 
> where product\_id like '480523%';

方案二：

> insert overwrite local directory '/home/dwapp/hugh.wangp'
> 
> select product\_id, description
> 
> from wp\_product\_detail
> 
> where substr(product\_id, 1, 2) = '50';

方案三：

> insert overwrite local directory '/home/dwapp/hugh.wangp'
> 
> select product\_id, description
> 
> from wp\_product\_detail\_sf;

方案四：

> insert overwrite local directory '/home/dwapp/hugh.wangp'
> 
> select product\_id
> 
> from wp\_product\_detail;

前三个方案的查询数据量：800条，700万条，1.8亿条。

[![7098bedfgb89359a70d7c_690][]][7098bedfgb89359a70d7c_690 1]

![Image 1][]

上图反应在大小数据集上，RCFILE的查询效率高于SEQUENCEFILE。

[![7098bedfgb8935bdcd7ae_690][]][7098bedfgb8935bdcd7ae_690 1]

![Image 1][]

上图反应在特定字段数据读取时，RCFILE的查询效率依然优于SEQUENCEFILE。

--------------------

总结

1.在压缩比方面，RCFILE有较优的压缩比，因为SEQUENCEFILE是行压缩，行内不同数据值统一压缩，但是RCFILE对每列独立压缩，避免了不同数据值的混合压缩，所以压缩比相对高一些。但是由于对列进行压缩存储，压缩性能比单单对行进行压缩消耗更多。也正体现了压缩的空间和时间的矛盾体。

2.数据加载方面，SEQUENCEFILE优于RCFILE，因为RCFILE的列压缩方式，数据加载压缩时的性能消耗比较大。但是对于数据仓库的一次写入、多次读取，数据的加载性能对整体利用影响没有压缩比和查询响应大。

3.查询响应方面，RCFILE有较优的表现。RCFILE的数据读取方式和Lazy解压方式起到了很大的作用，在读取数据的每个行组时，RCFILE只需读取元数据头部和查询指定的列，而不是行组的全部数据都读到内存中，节省了很多的I/O。虽然读取了元数据头部和查询指定的列，但是不是对这些数据完全解压，Lazy解压技术保证了，只解压满足where条件的数据。

总之，相对于SEQUENCEFILE，RCFILE的压缩比有20%左右的提升，数据加载时间有10%左右的劣势，查询响应时间平均有15%左右的优势，尤其在大数据量的非全字段查询上有30%左右的性能优势。

所以从上面的测试比较可以看出，RCFILE是HIVE最适合的文件存储格式，压缩方式采用GZIP压缩。

业界使用情况，FACEBOOK目前所有HIVE的文件全部采用RCFILE存储，国内的盛大也采用RCFILE存储。

[7098bedfgb8934e802bce_690]: /images/20220316/71b29aba2ac94fd38e65d31c6097693c.png
[7098bedfgb8934e802bce_690 1]: http://blog.photo.sina.com.cn/showpic.html#url=http://s15.sinaimg.cn/orignal/7098bedfgb8934e802bce
[Image 1]: 
[7098bedfgb893521c3930_690]: /images/20220316/89ac0ff142d44e6c97950e415e6292ed.png
[7098bedfgb893521c3930_690 1]: http://blog.photo.sina.com.cn/showpic.html#url=http://s1.sinaimg.cn/orignal/7098bedfgb893521c3930
[7098bedfgb89357099f93_690]: /images/20220316/6a8daa057e824fe587314b5532fd0abd.png
[7098bedfgb89357099f93_690 1]: http://blog.photo.sina.com.cn/showpic.html#url=http://s4.sinaimg.cn/orignal/7098bedfgb89357099f93
[7098bedfgb89359a70d7c_690]: /images/20220316/ccf6bd8328ff48b08e0d329bb626b4c2.png
[7098bedfgb89359a70d7c_690 1]: http://blog.photo.sina.com.cn/showpic.html#url=http://s13.sinaimg.cn/orignal/7098bedfgb89359a70d7c
[7098bedfgb8935bdcd7ae_690]: /images/20220316/9c8f110821a0448296ec1e42cc4f077e.png
[7098bedfgb8935bdcd7ae_690 1]: http://blog.photo.sina.com.cn/showpic.html#url=http://s15.sinaimg.cn/orignal/7098bedfgb8935bdcd7ae