CDH5.10.2 离线配置hadoop-lzo压缩

妖狐艹你老母 2023-06-20 10:50 14阅读 0赞

# [ClouderaManager之CDH-LZO配置][ClouderaManager_CDH-LZO] #

# CDH-LZO配置 #

## 下载和CDH版本对应的hadoop-lzo版本 ##

如下：

![623088-20160722141741997-197375177.png][]

下载地址：http://archive.cloudera.com/gplextras5/parcels/

需要下载如下三个文件：

GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1（使用的时候重命名成.sha）

manifest.json

## 配置包到cloudera-manager共享目录 ##

因为使用的是parcels安装，首先将下载好的文件放到cloudera-manager共享的目录中，此处为：

![623088-20160722141800138-1752685417.png][]

进入到cloudera-manager的控制页面，主机àparcelà位置，在CNNIC（CM集群的名字）选项中目录改为/opt/cloudera-manager/cloudera/parcel-repo。

## 安装激活lzo服务 ##

Cloudera-manager控制页面，主机àparcelà检查新Parcel，如果配置正确，则出现如下界面：

![623088-20160722141814904-2067784954.png][]

点击分配，进行到如下界面：

![623088-20160722141825388-194580982.png][]

之后进入激活状态中：

![623088-20160722141835326-93221858.png][]

步骤完成后，状态一列会出现“已分配。已激活”。

![623088-20160722141849794-136728072.png][]

至此，lzo服务安装工作已经完成。

## 修改配置集群的lzo服务 ##

### 修改HDFS配置 ###

在io.compression.codecs属性值中追加如下值：

com.hadoop.compression.lzo.LzoCodec

com.hadoop.compression.lzo.LzopCodec

如下图所示：

![623088-20160722141902341-1285672987.png][]

### 修改YARN配置 ###

将mapreduce.application.classpath的属性值增加一项：/opt /cloudera/parcels/HADOOP\_LZO/lib/hadoop/lib/\*

如下图所示：

![623088-20160722141915997-1494956640.png][]

### 修改MR应用程序环境 ###

修改mapreduce.admin.user.env的属性值，增加一项：

/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native，如下图所示：

![623088-20160722141934919-722318643.png][]

重启集群生效。

[ClouderaManager_CDH-LZO]: https://www.cnblogs.com/zhzhang/p/5695027.html
[623088-20160722141741997-197375177.png]: https://images2015.cnblogs.com/blog/623088/201607/623088-20160722141741997-197375177.png
[623088-20160722141800138-1752685417.png]: https://images2015.cnblogs.com/blog/623088/201607/623088-20160722141800138-1752685417.png
[623088-20160722141814904-2067784954.png]: https://images2015.cnblogs.com/blog/623088/201607/623088-20160722141814904-2067784954.png
[623088-20160722141825388-194580982.png]: https://images2015.cnblogs.com/blog/623088/201607/623088-20160722141825388-194580982.png
[623088-20160722141835326-93221858.png]: https://images2015.cnblogs.com/blog/623088/201607/623088-20160722141835326-93221858.png
[623088-20160722141849794-136728072.png]: https://images2015.cnblogs.com/blog/623088/201607/623088-20160722141849794-136728072.png
[623088-20160722141902341-1285672987.png]: https://images2015.cnblogs.com/blog/623088/201607/623088-20160722141902341-1285672987.png
[623088-20160722141915997-1494956640.png]: https://images2015.cnblogs.com/blog/623088/201607/623088-20160722141915997-1494956640.png
[623088-20160722141934919-722318643.png]: https://images2015.cnblogs.com/blog/623088/201607/623088-20160722141934919-722318643.png