编译Hadoop源码过程

淩亂°似流年 2022-10-18 11:28 219阅读 0赞

## 编译Hadoop源码 ##

原因是从Apache官方下载的Hadoop源码都是32位的，而目前大多数电脑都是64位的。

环境准备（最好是干净的环境，且要可以联通外网）：

![在这里插入图片描述][2021060514383835.png]

### JDK安装 ###

JDK解压，配置环境变量JAVA\_HOME和PATH。

vim /etc/profile
    
    # 增加一下内容
    # JAVA_HOME:
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin
    
    source /etc/profile

可以使用`java-version`来验证是否安装成功。

### Maven安装 ###

解压maven，配置环境变量MAVEN\_HOME和PATH。

vim /etc/profile
    
    # 增加以下内容
    # MAVEN_HOME
    export MAVEN_HOME=/opt/module/apache-maven-3.0.5
    export PATH=$PATH:$MAVEN_HOME/bin
    
    source /etc/profile

可以使用`mvn -version`来验证是否安装成功。

## Ant安装 ##

解压ant，配置环境变量ANT\_HOME和PATH。

vim /etc/profile
    
    # 增加以下内容
    # ANT_HOME
    export ANT_HOME=/opt/module/apache-ant-1.9.9
    export PATH=$PATH:$ANT_HOME/bin
    
    source /etc/profile

## 安装必要的组件 ##

yum install glibc-headers gcc-c++ make cmake openssl-devel ncurses-devel

## 安装protobuf ##

tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/
    
    cd /opt/module/protobuf-2.5.0/
    
    ./configure
    
    make
    
    make check
    
    make install
    
    ldconfig
    
    vim /etc/profile
    
    # LD_LIBRARY_PATH
    export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
    export PATH=$PATH:$LD_LIBRARY_PATH

可以使用`protoc --version`来验证是否安装成功。

### 编译源码 ###

## 进入到源码解压的目录下，执行以下命令
    mvn package -Pdist,nativeN -DskipTests -Dtar

如果出现以下错误：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]

问题的根源是maven中央仓库现在只支持HTTPS协议，我们改一下就行maven相关配置

## 修改maven的配置文件
    vim /opt/module/apache-maven-3.0.5/conf/setting.xml
    
    ## 内容如下：
    
    <mirror>
        <id>repo1</id>
        <mirrorOf>central</mirrorOf>
        <name>Human Readable Name for this Mirror.</name>
        <url>https://repo1.maven.org/maven2/</url>
    </mirror>
    
    
    <mirror>
        <id>repo2</id>
        <mirrorOf>central</mirrorOf>
        <name>Human Readable Name for this Mirror.</name>
        <url>https://repo2.maven.org/maven2/</url>
    </mirror>

可能会因为网络原因导致编译失败，重试即可。

[2021060514383835.png]: /images/20221014/5aa9c5546cca489da5583c368d153e81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]: /images/20221014/9f2dcec8eea54104ba0180e0c4b7baaa.png