Hadoop2.2安装出现不支持bzip2压缩问题原因分析

冷不防 2022-04-12 06:47 247阅读 0赞

刚装的hadoop2.2的集群，散仙在执行bin/hadoop checknative 命令时，出现如下警告：  
  
  
\[img\]http://dl2.iteye.com/upload/attachment/0104/4231/309ef9f8-6888-3ee1-8c85-a7bf44ec99b7.jpg\[/img\]  
  
bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的lib64位目录下，查看libbz2的so文件，发现也正常  
\[code="java"\]\# ll /lib64/libb\*  
lrwxrwxrwx. 1 root root 17 7月 16 01:49 /lib64/libblkid.so.1 -> libblkid.so.1.1.0  
\-rwxr-xr-x. 1 root root 136136 11月 22 2013 /lib64/libblkid.so.1.1.0  
lrwxrwxrwx. 1 root root 15 7月 16 01:49 /lib64/libbz2.so.1 -> libbz2.so.1.0.4  
\-rwxr-xr-x. 1 root root 67592 6月 25 2011 /lib64/libbz2.so.1.0.4  
\# \[/code\]  
  
那么问题出现在哪里呢？ 经google查找，发现这是hadoop2.3之前版本都有的一个问题，具体的原因，请点击\[url=https://issues.apache.org/jira/browse/HADOOP-10409\]此处\[/url\]问题的具体原因，就是因为在编译hadoop时，由于centos系统没有安装bzip2-devel库文件，导致的，然后，散仙在本机上使用命令：

rpm -qa bzip2-devel

查询是否安装这个库，结果，果然没有安装，知道原因后，解决就很简单了，使用  
yum install -y bzip2-devel命令，安装bzip2-devel库支持，然后重新编译我们的hadoop即可。  
  
编译完成后，再次执行bin/hadoop checknative命令后，发现已经支持bzip2,压缩：  
\[code="java"\]\# bin/hadoop checknative  
14/12/17 02:04:56 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native  
14/12/17 02:04:56 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library  
Native library checking:  
hadoop: true /root/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0  
zlib: true /lib64/libz.so.1  
snappy: false  
lz4: true revision:43  
bzip2: true /lib64/libbz2.so.1  
\# \[/code\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0104/4233/2ce8b6a3-06fc-3526-be34-00f8275fa419.jpg\[/img\]