大数据-常用压缩方式总结

末蓝、 2024-04-18 12:00 78阅读 0赞

## 转载声明 ##

***本文系转载自以下两篇文章：***

*  [压缩格式gzip/snappy/lzo/bzip2 比较与总结][gzip_snappy_lzo_bzip2]  
    作者： zzhongcy
 *  [Snappy、Lzo、Gzip、Bzip2比较][Snappy_Lzo_Gzip_Bzip2]  
    作者： 心有余力

***转载仅为方便学习查看，一切权利属于原作者，本人只是做了整理和排版，如果带来不便请联系我删除。***

## 摘要 ##

本文对大数据常用的压缩方式`GZip`, `BZip2`, `LZO`, `Snappy`进行对比。

## 特性对比 ##

<table> 
 <thead> 
  <tr> 
   <th>名</th> 
   <th>GZip</th> 
   <th>BZip2</th> 
   <th>LZO</th> 
   <th>Snappy</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HadoopCodec类</td> 
   <td>GzipCodec</td> 
   <td>Bzip2Codec</td> 
   <td>LzopCodec</td> 
   <td>SnappyCodec</td> 
  </tr> 
  <tr> 
   <td>算法</td> 
   <td>Deflate</td> 
   <td>GZip2</td> 
   <td>LZO</td> 
   <td>Snappy</td> 
  </tr> 
  <tr> 
   <td>文件扩展名</td> 
   <td>.gz</td> 
   <td>.bz2</td> 
   <td>.lzo</td> 
   <td>.snappy</td> 
  </tr> 
  <tr> 
   <td>Hadoop内嵌</td> 
   <td>是</td> 
   <td>是</td> 
   <td>否</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>可切片</td> 
   <td>否</td> 
   <td>是</td> 
   <td>是</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>压缩比(测试值)</td> 
   <td>2 (13.4%)</td> 
   <td>1 (13.2%)</td> 
   <td>3 (20.5%)</td> 
   <td>4 (22.2%)</td> 
  </tr> 
  <tr> 
   <td>压缩速率</td> 
   <td>3 (21MB/S)</td> 
   <td>4 (2.4MB/S)</td> 
   <td>2 (135MB/S)</td> 
   <td>1 (172MB/S)</td> 
  </tr> 
  <tr> 
   <td>解压速率</td> 
   <td>3 (118MB/s)</td> 
   <td>4 (9.5MB/s)</td> 
   <td>1 (410MB/s)</td> 
   <td>2 (409MB/S)</td> 
  </tr> 
  <tr> 
   <td>特点</td> 
   <td>GZip压缩比高，大部分Linux系统自带Gzip命令，Hadoop原生就支持使用很方便；速度较慢，而且不支持切片。</td> 
   <td>BZip2压缩比最高，但速度实在太慢了</td> 
   <td>压缩比尚可，速度快，支持切片（需要建立索引，且文件修改后要重建索引，还需将 InputFormat 指定为<code>Lzo</code>）。支持hadoop native库，但不是Hadoop自带，需要自己安装。</td> 
   <td>压缩比最低，但速度最快，但不支持切片。支持hadoop native库，但不是Hadoop自带，需要自己安装。需要注意的是，实际生产环境中Snappy的表现通常比 LZO 好，应当进行测试对比再决定。</td> 
  </tr> 
  <tr> 
   <td>使用场景</td> 
   <td>如果压缩后大小和Block差不多大可以使用。也适合磁盘不富裕要求压缩比且对压缩时间无特别要求的场景，如异步离线压缩归档，比如HBase写入后的刷盘</td> 
   <td>适合很老的、极低频使用的历史文件（冷数据）归档</td> 
   <td>特点是支持切片</td> 
   <td>实时写入的Hive底层HDFS文件可用LZO方式压缩</td> 
  </tr> 
 </tbody> 
</table>

## 压缩选择 ##

*  需要综合权衡压缩/解压缩数据所需资源如IO/网络贷款/CPU等，以及考虑数据使用场景
 *  如果数据已经压缩（例如 JPEG 格式的图像），则不建议进行压缩。事实上，结果文件实际上可能大于原文件。
 *  MR程序需要支持可拆分，一般选LZO；而HBase不需要考虑拆分性。
 *  MR程序可选压缩Map中间输出结果、程序整体输出结果等。

## Hadoop本地库检测 ##

hadoop checknative

## 更多好文 ##

*  [Lzo压缩详细][Lzo]  
    安装、配置、LzoCodec和LzopCodec
 *  [java中常用的压缩与解压代码和测试][java]
 *  [Java压缩算法性能比较和代码测试][Java]
 *  [Java压缩算法性能比较和代码测试-知乎补档][Java_-]

[gzip_snappy_lzo_bzip2]: https://blog.csdn.net/zzhongcy/article/details/89375346
[Snappy_Lzo_Gzip_Bzip2]: https://blog.csdn.net/lingeio/article/details/94435661
[Lzo]: https://blog.csdn.net/qq_36459386/article/details/86249576
[java]: https://blog.csdn.net/dengjili/article/details/86554012#lzo_198
[Java]: https://my.oschina.net/OutOfMemory/blog/805427?from=20161218
[Java_-]: https://zhuanlan.zhihu.com/p/24379501