CDH6.3.2 在线安装 hadoop Lzo压缩

快来打我* 2022-10-29 01:42 258阅读 0赞

### CDH6.3.2 在线安装 hadoop Lzo压缩 ###

*  1 查看我的hadoop支撑的压缩方式
 *  2 LzoCodec和LzopCodec区别
 *  3 在线Parcel安装Lzo
 *   *  3.1 下载地址：修改6.x.x为对应版本
     *  3.2 下载
     *  3.3 为HDFS添加压缩编码解码器
     *  3.4 YARN配置自动加载GPLEXTRAS下的包
     *   *  ① 找到自己刚才安装的GPLEXTRAS目录
         *  ②配yarn
         *  ② 添加/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/\*
         *  ③ 更新配置重启服务

# 1 查看我的hadoop支撑的压缩方式 #

hdfs 配置控制台收索： io.compression.codecs  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]  
可见没有LzopCodec方式

CDH中默认不支持Lzo压缩编码，需要下载额外的Parcel包，才能让Hadoop相关组件如HDFS，Hive，Spark支持Lzo编码。

# 2 LzoCodec和LzopCodec区别 #

LzoCodec和LzopCodec区别
    两种压缩编码LzoCodec和LzopCodec区别：
        1. LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息。
        2. LzoCodec作为Reduce输出，结果文件扩展名为 ”.lzo_deflate” ，无法被lzop读取；使用LzopCodec作为Reduce输出，生成扩展名为 ”.lzo” 的文件，可被lzop读取。
        3. LzoCodec结果（.lzo_deflate文件) 不能由 lzo index job 的 "DistributedLzoIndexer" 创建index。
        4. “.lzo_deflate” 文件不能作为MapReduce输入。而这些 “.LZO” 文件都支持。
            综上所述，map输出的中间结果使用LzoCodec，reduce输出使用 LzopCodec。
     另外：org.apache.hadoop.io.compress.LzoCodec和com.hadoop.compression.lzo.LzoCodec功能一样，都是源码包中带的，生成的都是 lzo_deflate 文件。

# 3 在线Parcel安装Lzo #

## 3.1 下载地址：修改6.x.x为对应版本 ##

CDH6：[https://archive.cloudera.com/gplextras6/6.x.x/parcels/][https_archive.cloudera.com_gplextras6_6.x.x_parcels]  
我的版本是 CDH6.3.1 所以我的下载地址就是  
[https://archive.cloudera.com/gplextras6/6.3.1/parcels/][https_archive.cloudera.com_gplextras6_6.3.1_parcels]  
在CDH的 Parcel 配置中，“远程Parcel存储库URL”，点击 “+” 号，添加地址栏  
![在这里插入图片描述][20210207140801948.png]  
返回Parcel列表 可能需要一段时间会看到 GPLEXTRAS 因为国外的网站可能我们的网络连接比较延迟  
![在这里插入图片描述][20210207140815360.png]

## 3.2 下载 ##

点击：Download  
![在这里插入图片描述][20210207140827297.png]  
分配  
![在这里插入图片描述][20210207140835160.png]  
激活  
![在这里插入图片描述][20210207140900899.png]  
激活成功  
![在这里插入图片描述][2021020714090950.png]

## 3.3 为HDFS添加压缩编码解码器 ##

com.hadoop.compression.lzo.LzoCodec
    com.hadoop.compression.lzo.LzopCodec

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 2]

## 3.4 YARN配置自动加载GPLEXTRAS下的包 ##

### ① 找到自己刚才安装的GPLEXTRAS目录 ###

/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib  
![在这里插入图片描述][20210207141032838.png]

### ②配yarn ###

收索：mapreduce.application.classpath  
![在这里插入图片描述][20210207141047842.png]

### ② 添加/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/\* ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 3]

### ③ 更新配置重启服务 ###

![在这里插入图片描述][20210207141107859.png]  
然后完成

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]: /images/20221024/870a2607648146fd85eac1a8e0c7e28f.png
[https_archive.cloudera.com_gplextras6_6.x.x_parcels]: https://archive.cloudera.com/gplextras6/6.x.x/parcels/
[https_archive.cloudera.com_gplextras6_6.3.1_parcels]: https://archive.cloudera.com/gplextras6/6.3.1/parcels/
[20210207140801948.png]: /images/20221024/ef6616daf22c450eafad83ac5bb5cbc7.png
[20210207140815360.png]: /images/20221024/c7c84719ebda4aa280c44f4146b58e36.png
[20210207140827297.png]: /images/20221024/a1b77126f0fb46b5a278bfc64656c2e3.png
[20210207140835160.png]: /images/20221024/c095b2f4a54c4a1385fa00cd20d96bc8.png
[20210207140900899.png]: /images/20221024/f4d9a7d8e7634098b843050aeafb976d.png
[2021020714090950.png]: /images/20221024/1640b4b7083b4709a7f6af0bc2c23f00.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 1]: /images/20221024/3712d0c2ab6d40a6a5907c4273776cfb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 2]: /images/20221024/c1b523d92a5c4894a11f531eb60c1941.png
[20210207141032838.png]: /images/20221024/a35a8e32174c44e29efd262d6d738ba2.png
[20210207141047842.png]: /images/20221024/038e03c266e44b89b1daf66e2cdfedbe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 3]: /images/20221024/3410b63661164230835788a6bb1f82d1.png
[20210207141107859.png]: /images/20221024/71948c938b8e4ad1acc6e408e812c289.png