dist包编译html_Win10下Hadoop3.1.2编译

迈不过友情╰ 2023-01-04 13:17 127阅读 0赞

首先在https://hadoop.apache.org/releases.html获取源码包"hadoop-3.1.2-src.tar.gz",解压后打开其中的BUILDING.txt,开头就说明了编译需要的工具:

*  ✅JDK 1.8
 *  ✅Maven 3.3 or later:用来下载源码pom中的各种依赖
 *  ✅ProtocolBuffer 2.5.0:用于用于分布式应用之间的数据通信或者异构环境下的数据交换
 *  ✅CMake 3.1 or newer:跨平台编译工具
 *  ✅Zlib:压缩库
 *  ✅Cygwin: 类UNIX模拟环境,为了在cmd使用Linux命令
 *  ✅vs2019:编译工具,且需要使用其中的MSBuild

--------------------

### 准备工作 ###

### 依赖 & Path ###

**JDK**

JDK的配置以及加入Path略去,网上很多,但**一定要使用1.8**,因为Hadoop3.x就是基于jdk8编译而成的

**Maven**

下载地址: https://maven.apache.org/

1.  增加阿里源:具体可见https://blog.csdn.net/m0\_37566718/article/details/86978890
2.  配置环境变量

# 新建用户变量 
    M2_HOME D:Javaapache-maven-3.6.3 
    # 添加环境变量 
    Path    %M2_HOME%/bin

测试,在cmd输入`mvn -v`, 以下输出说明,默认本地maven repo就在$\{user.home\}/.m2/repository,可以在settings.xml中修改

![fd8a7893395cc8946516995bb15aaba1.png][]

关于本地仓库(.m2)路径:**注意路径名要短,路径太长时命令会被截断,导致错误,可以改到根路径下**

![443618dc168d011100bc3f0e89734765.png][]

**ProtocolBuffer**

下载地址:https://github.com/protocolbuffers/protobuf/releases/tag/v2.5.0

# 添加环境变量 Path    D:Javaprotoc

测试,在cmd输入`protoc --version`

![b367977c859bfff92ad952d45b7a9ea2.png][]

**CMake**

下载地址: https://cygwin.com/install.html or https://pc.qq.com/detail/3/detail\_21963.html**(下载Binary文件,否则无bin目录)**

# 添加环境变量 Path    D:JavaCMakebin

测试,cmd输入`cmake --version`

![8c6f3f4bd46d4f20fadfef701cb94317.png][]

**Cygwin**

下载地址:在http://www.cygwin.com/获取下载器,选镜像站时可以输入http://mirrors.aliyun.com/cygwin/

# 添加环境变量 Path    D:JavaCygwinbin

测试,在cmd中输入linux命令pwd,能正确执行说明此时可模拟unix命令行环境

![e287b53b164160f02be01b750e25c8a3.png][]

**Zlib**

下载地址:http://www.zlib.net/

# 添加环境变量 Path    D:Javazlib

zlib貌似没有直接测试的方法

**MSBuild**

网上很多人是将路径C:Program Files (x86)MSBuild14.0Bin添加到path环境变量,但我发现我没有这个路径,估计是vs2019的安装路径变化了,就用everything直接搜索MSbuild,找到D:Visual Studio2019MSBuild15.0Bin

# 添加环境变量 Path    D:Visual Studio2019MSBuild15.0Bin

### 升级.sln文件 ###

使用vs 2019打开源码中文件

`hadoop-common-projecthadoop-commonsrcmainwinutilswinutils.sln`

`hadoop-common-projecthadoop-commonsrcmainnativenative.sln`

**Hadoop 3.x版本默认vs2010编译,使用v100工具集,**按提示升级为适配当前IDE的工具集

![b6a3e2f85abd31ab824f05b16d6bfbfd.png][]

### 忽略aws/azure组件 ###

hadoop3.x中对aliyun/aws/azure这类云平台提供了tools,但编译中八成会**因为镜像源缺少DynamoDBLocal-1.11.86(aws服务)而编译失败**

![0d29494215f8d0864e15c951e2e8ae61.png][]

其实可以去aws网站下载jar导入.m2,但速度感人.**如果个人用azure和aws的几率小**,可以直接修改D:Javahadoop-3.1.2-srchadoop-toolspom.xml, 注释掉其中的相关语句就行,这些组件就会在编译中被忽略

![d5f7c3f29db00115d55c4db5e9a95d7f.png][]

### 修改Javah路径 ###

编译中遇到的一个错误就是说**"Error running javah command: Error executing command line"**,这是javah路径问题.**打开D:Javahadoop-3.1.2-srchadoop-common-projectpom.xml,找到如下<javahPath>标签(共两处),修改成本地jdk的javah绝对路径即可**

![5bfc6c109eb1f01d8b95205209bba33d.png][]

--------------------

### 正式编译 ###

看到的链接有用cmd/cygwin/...编译的,我中途试错无数次,找到win10 x64下最直接的编译方式:

安装了vs2017/19的同学可以看到有如下工具:**x64 Native Tools Command Prompt**

![3a63c77dce8404d771ae6d9189b3d31b.png][]

关于这个工具,官方的解释就是**专门用来把环境变量设为64bits,使用x64工具编译64bits可运行于x64机器的代码(拗口~)**

> x64 Native Tools Command Prompt - Sets the environment to use 64-bit, x64-native tools to build 64-bit, x64-native code.

但是记得要以**管理员模式运行**,否则编译中会可能遇到permission问题,然后**cd到源码目录**,执行以下命令

mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true 
    # -Dmaven.javadoc.skip=true: 剔除指令文档的编译，如果使用的是JDK1.8，那么必须加入此参数才能编译通过

编译结果在`D:Javahadoop-3.1.2-srchadoop-dist`,其中可以看到tar包,之后在win10上直接使用这个tar包即可

![5235fe310a9fa424e42a9ec9f3c22034.png][]

3.1.2共需要编译93个项目,如果都成功就会出现build success,泪目

![6c4914d02a4b4673042ec9019a0a851e.png][]

### 编译技巧 ###

*  每次出错后不用重新编译,**如果上次失败在hadoop-dist,使用rf :hadoop-dist就能直接从指定处开始**(上面的clean则表示重新开始)
 *  如果找不到问题可以借助mvn自带的参数: **-e:编译中打印stack trace; -X:debug模式**

# 指定起始位置编译 
    mvn package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true -rf :hadoop-dist 
    # 查错常用的编译命令 
    mvn package -Pdist,native-win -DskipTests -Dtar -e -X -rf :hadoop-dist

--------------------

### 常见异常 ###

一天全耗在各种报错上,自己也看了不少帖子,一些异常的解决已经在前面说了,大部分**关于依赖的错误可以手动到maven repo手动下载jar**,其余的可以参考

*  Hadoop 3.2.1 win10 64位系统 vs2015 编译
 *  win10编译Hadoop3.0.2源码遇到的坑

[fd8a7893395cc8946516995bb15aaba1.png]: /images/20221119/bae3562c317542218a041bf6464dc8fd.png
[443618dc168d011100bc3f0e89734765.png]: /images/20221119/f8b29a528dc2450b8f2cbf819afd498e.png
[b367977c859bfff92ad952d45b7a9ea2.png]: https://img-blog.csdnimg.cn/img_convert/b367977c859bfff92ad952d45b7a9ea2.png
[8c6f3f4bd46d4f20fadfef701cb94317.png]: https://img-blog.csdnimg.cn/img_convert/8c6f3f4bd46d4f20fadfef701cb94317.png
[e287b53b164160f02be01b750e25c8a3.png]: https://img-blog.csdnimg.cn/img_convert/e287b53b164160f02be01b750e25c8a3.png
[b6a3e2f85abd31ab824f05b16d6bfbfd.png]: https://img-blog.csdnimg.cn/img_convert/b6a3e2f85abd31ab824f05b16d6bfbfd.png
[0d29494215f8d0864e15c951e2e8ae61.png]: https://img-blog.csdnimg.cn/img_convert/0d29494215f8d0864e15c951e2e8ae61.png
[d5f7c3f29db00115d55c4db5e9a95d7f.png]: https://img-blog.csdnimg.cn/img_convert/d5f7c3f29db00115d55c4db5e9a95d7f.png
[5bfc6c109eb1f01d8b95205209bba33d.png]: https://img-blog.csdnimg.cn/img_convert/5bfc6c109eb1f01d8b95205209bba33d.png
[3a63c77dce8404d771ae6d9189b3d31b.png]: https://img-blog.csdnimg.cn/img_convert/3a63c77dce8404d771ae6d9189b3d31b.png
[5235fe310a9fa424e42a9ec9f3c22034.png]: https://img-blog.csdnimg.cn/img_convert/5235fe310a9fa424e42a9ec9f3c22034.png
[6c4914d02a4b4673042ec9019a0a851e.png]: https://img-blog.csdnimg.cn/img_convert/6c4914d02a4b4673042ec9019a0a851e.png