常见的压缩格式

我不是女神ヾ 2023-06-15 09:52 13阅读 0赞

## 压缩的好处和坏处 ##

### 好处 ###

减少存储磁盘空间  
降低IO(网络的IO和磁盘的IO)  
加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度

### 坏处 ###

由于使用数据时，需要先将数据解压，加重CPU负荷

## 2. 压缩格式 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpa2FpYXNkZHNh_size_16_color_FFFFFF_t_70]

## 压缩比 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpa2FpYXNkZHNh_size_16_color_FFFFFF_t_70 1]

## 压缩时间 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpa2FpYXNkZHNh_size_16_color_FFFFFF_t_70 2]

可以看出，压缩比越高，压缩时间越长，压缩比：Snappy>LZ4>LZO>GZIP>BZIP2

需要安装；linux系统下没有对应的命令d. bzip2
    
     
      
     
      
       1

##  ##

<table> 
 <thead> 
  <tr> 
   <th>压缩格式</th> 
   <th>优点</th> 
   <th>缺点</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>gzip</td> 
   <td>压缩比在四种压缩方式中较高；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便</td> 
   <td>不支持split</td> 
  </tr> 
  <tr> 
   <td>lzo</td> 
   <td>压缩/解压速度也比较快，合理的压缩率；支持split，是hadoop中最流行的压缩格式；支持hadoop native库；需要在linux系统下自行安装lzop命令，使用方便</td> 
   <td>压缩率比gzip要低；hadoop本身不支持，需要安装；lzo虽然支持split，但需要对lzo文件建索引，否则hadoop也是会把lzo文件看成一个普通文件（为了支持split需要建索引，需要指定inputformat为lzo格式）</td> 
  </tr> 
  <tr> 
   <td>snappy</td> 
   <td>压缩速度快；支持hadoop native库</td> 
   <td>不支持split；压缩比低；hadoop本身不支持，</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>支持split；具有很高的压缩率，比gzip压缩率都高；hadoop本身支持，但不支持native；在linux系统下自带bzip2命令，使用方便</td> 
   <td>压缩/解压速度慢；不支持native</td> 
  </tr> 
 </tbody> 
</table>

## 总结： ##

不同的场景选择不同的压缩方式，肯定没有一个一劳永逸的方法，如果选择高压缩比，那么对于cpu的性能要求要高，同时压缩、解压时间耗费也多；选择压缩比低的，对于磁盘io、网络io的时间要多，空间占据要多；对于支持分割的，可以实现并行处理。

应用场景：  
一般在HDFS 、Hive、HBase中会使用；  
当然一般较多的是结合Spark 来一起使用。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpa2FpYXNkZHNh_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190615182340172.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpa2FpYXNkZHNh,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpa2FpYXNkZHNh_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190615182354373.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpa2FpYXNkZHNh,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpa2FpYXNkZHNh_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190615182404853.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpa2FpYXNkZHNh,size_16,color_FFFFFF,t_70