Hadoop安装snappy（编译源码）

分手后的思念是犯贱 2022-12-18 03:56 462阅读 0赞

### 目录 ###

*   *  了解Hive的数据压缩
     *  Hadoop安装snappy（编译源码）
     *  第一步：配置阿里云yum源
     *  第二步：配置/etc/resolv.conf
     *  第三步：下载Hadoop源码并解压
     *  第四步：配置JDK
     *  第五步：安装配置maven
     *  第六步：protobuf-2.5.0安装
     *  第七步：snappy安装
     *  第八步：安装CMake
     *  第九步：hadoop编译
     *  第十步：hadoop配置修改
     *   *  （1）修改core-site.xml
         *  （2）修改mapred-site.xml
     *  测试
     *  疑惑详解

## 了解Hive的数据压缩 ##

**hive 的数据压缩 == MR的数据压缩**

**1.在哪个阶段进行数据压缩**

MR阶段过程：

input  -> map   -> shuffle  ->  reduce  ->  output

shuffle 阶段几个重要内容：

分区   ->  排序   -> combiner(map端的reduce)  -> 压缩   -> 分组

compression压缩的阶段：

map 输出  和   reduce 输出

**2.为什么要数据压缩**

*  节省磁盘空间
 *  减小网络IO、磁盘IO

**3.有哪些数据压缩方案**

zlib 
      gzip
      bzip2
      snappy（google 企业应用）
      lz4
      lzo

*  节省存储空间：bzip2 > gzip > lzo
 *  解压速度：lzo > gzip > bzip2

**4.查看Hadoop中的压缩数据工具**

bin/hadoop checknative -a

![在这里插入图片描述][20201025153249336.png_pic_center]  
下面要开始安装数据压缩snappy

## Hadoop安装snappy（编译源码） ##

准备工具

*  电脑系统：macOS 10.15.4
 *  虚拟机软件：Parallels Desktop14
 *  Hadoop各节点节点操作系统：CentOS 7
 *  JDK版本：jdk1.7.0\_67
 *  Hadoop CDH版本：hadoop-2.6.0-cdh5.9.3
 *  官方Hadoop2.6.0源码：hadoop-2.6.0-src
 *  protobuf版本：protobuf-2.5.0
 *  snappy版本：snappy-1.1.3
 *  maven版本：apache-maven-3.5.4-bin

--------------------

snappy下载链接：  
[https://src.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.3.tar.gz/7358c82f133dc77798e4c2062a749b73/][https_src.fedoraproject.org_repo_pkgs_snappy_snappy-1.1.3.tar.gz_7358c82f133dc77798e4c2062a749b73]

protobuf下载链接：  
[https://github.com/google/protobuf/releases/tag/v2.5.0 ][https_github.com_google_protobuf_releases_tag_v2.5.0]

官方Hadoop2.6.0源码下载链接：  
[https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/][https_archive.apache.org_dist_hadoop_core_hadoop-2.6.0]

maven3.5.4下载链接：  
[https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/][https_archive.apache.org_dist_maven_maven-3_3.5.4_binaries]

--------------------

## 第一步：配置阿里云yum源 ##

1、打开centos的yum文件夹

cd /etc/yum.repos.d/

2、用wget下载repo文件

wget http://mirrors.aliyun.com/repo/Centos-7.repo

如果wget命令不生效，说明还没有安装wget工具

yum -y install wget

回车进行安装，当前目录是/etc/yum.repos.d/，刚刚下载的Centos-7.repo也在这个目录上。

3、备份系统原来的repo文件

mv CentOS-Base.repo CentOS-Base.repo.bak

4、替换系统原理的repo文件

mv Centos-7.repo CentOS-Base.repo

5、执行yum源更新命令

yum clean all
    yum makecache
    yum update

## 第二步：配置/etc/resolv.conf ##

vim /etc/resolv.conf

添加内容：

nameserver 8.8.8.8
    nameserver 8.8.4.4

## 第三步：下载Hadoop源码并解压 ##

chmod u+x hadoop-2.6.0-src.tar.gz

tar -zxvf hadoop-2.6.0-src.tar.gz -C /opt/modules

## 第四步：配置JDK ##

在Hadoop安装snappy的时候需要jdk7，这是我在测试的时候成功过，jdk1.8在编译的时候会报错  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]  
下面就需要重新安装jdk7，并修改配置文件，记得在编译过之后要把jdk换回来8d

export JAVA_HOME=/opt/modules/jdk1.7.0_67
    export CLASSPATH=${JAVA_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH

## 第五步：安装配置maven ##

chmod u+x apache-maven-3.5.4-bin.tar.gz

tar -zxvf apache-maven-3.5.4-bin.tar.gz -C /opt/modules

配置环境变量

export MAVEN_HOME=/opt/modules/maven
    export PATH=$MAVEN_HOME/bin:$PATH

测试

mvn -version

配置conf/setting.xml

<mirror>
          <id>alimaven</id>
          <mirrorOf>central</mirrorOf>
          <name>aliyun maven</name>
          <url>https://maven.aliyun.com/repository/public</url>
    </mirror>

## 第六步：protobuf-2.5.0安装 ##

在安装protobuf-2.5.0之前需要安装gcc、PCRE、zlib、openssl等依赖库。

yum install gcc-c++

yum install -y pcre pcre-devel

yum install -y zlib zlib-devel

tar zxvf pcre-8.40.tar.gz

下面先解压protobuf-2.5.0

tar -vxf protobuf-2.5.0.tar -C /opt/modules

然后进入到protobuf-2.5.0目录下，进入到root模式下，依次执行

./configure
    
       ./make
       
       ./make install

查看版本

[caizhengjie@bigdata-pro-m01 protobuf-2.5.0]$ protoc --version
    libprotoc 2.5.0

即可表示安装成功

## 第七步：snappy安装 ##

先解压snappy-1.1.3.tar

tar -xvf snappy-1.1.3.tar -C /opt/modules

然后进入到snappy-1.1.3目录下，进入到root模式下，依次执行

./configure
    
       ./make
       
       ./make install

默认的安装路径

/usr/local/lib

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]

## 第八步：安装CMake ##

sudo yum install cmake

## 第九步：hadoop编译 ##

解压之后，进入hadoop-2.6.0-src，进入到root模式  
然后使用如下编译命令：

mvn clean package  -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

大概要等三四十分钟，在网络稳定的情况下即可安装成功  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 2]  
我的这里安装的路径在

/opt/modules/hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0/lib/native

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 3]

下面需要将`hadoop-2.6.0/lib/native`里面的安装文件拷贝到HadoopCDH版本的`lib/native`

cp -r ../native/* /opt/modules/hadoop/lib/native/

最后查看`/opt/modules/hadoop/lib/native`里面的文件

## 第十步：hadoop配置修改 ##

### （1）修改core-site.xml ###

3台机在core-site.xml文件中添加：

<property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.GzipCodec,
    org.apache.hadoop.io.compress.DefaultCodec,
    org.apache.hadoop.io.compress.BZip2Codec,
    org.apache.hadoop.io.compress.SnappyCodec
    </value>
    </property>

### （2）修改mapred-site.xml ###

在mapred-site.xml文件中添加：

<property>
    <name>mapreduce.map.output.compress</name>
    <value>true</value>
    </property>
    
    <property>
    <name>mapreduce.map.output.compress.codec</name>
    <value>org.apache.hadoop.io.compress.SnappyCodec</value>
    </property>

这里只配置了map端的数据压缩  
如何查看：  
首先启动服务

sbin/mr-jobhistory-daemon.sh start historyserver

查看历史服务器web访问端口：19888  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 4]

## 测试 ##

bin/hadoop checknative -a

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 5]  
在测试一下mapreduce的wordcount程序，看一下压缩数据的效果

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.9.3.jar wordcount /user/caizhengjie/datas/wordcount.txt /user/caizhengjie/mr/output1

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 6]

## 疑惑详解 ##

在`/usr/local/lib`下有snappy，那么为什么不直接把snappy拷贝到Hadoop的lib/native目录下，而是还需要编译Hadoop源码  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 7]  
经过mapreduce的wordcount测试，出现了报错  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 9]

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。  
您的鼓励就是博主最大的动力！

[20201025153249336.png_pic_center]: /images/20221122/6162dca480f043e69ad88ce7f8ee7c79.png
[https_src.fedoraproject.org_repo_pkgs_snappy_snappy-1.1.3.tar.gz_7358c82f133dc77798e4c2062a749b73]: https://src.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.3.tar.gz/7358c82f133dc77798e4c2062a749b73/
[https_github.com_google_protobuf_releases_tag_v2.5.0]: https://github.com/google/protobuf/releases/tag/v2.5.0
[https_archive.apache.org_dist_hadoop_core_hadoop-2.6.0]: https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/
[https_archive.apache.org_dist_maven_maven-3_3.5.4_binaries]: https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221122/332fa95400694451b9ad8894ff6b7ab7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221122/2c540bd982164b71a6af9fc7bc430a67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221122/b452d1edbd75438dbcae448765d75bf8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221122/249ed916a37849be9ee4e1ab8e10faeb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221122/35dddaa7503d4a5ea019e157cf0e3018.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221122/e70436f5f9e442b5b7e5268fb2731cd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221122/0c890f842b274ef49afdf358e13086e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221122/dc3a2960e15043d19e854e23f08fe268.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221122/9e00498fd0fc40ab9e025ff2c3e4a656.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221122/9b274ded238946c493cec1492014de52.png