centos 7编译hadoop 2.7.3

我不是女神ヾ 2021-09-11 04:56 435阅读 0赞

Build instructions for Hadoop  
  
  
\----------------------------------------------------------------------------------  
Requirements:  
  
  
\* Unix System  
\* JDK 1.7+  
\* Maven 3.0 or later  
\* Findbugs 1.3.9 (if running findbugs)  
\* ProtocolBuffer 2.5.0  
\* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac  
\* Zlib devel (if compiling native code)  
\* openssl devel ( if compiling native hadoop-pipes and to get the best HDFS encryption performance )  
\* Linux FUSE (Filesystem in Userspace) version 2.6 or above ( if compiling fuse\_dfs )  
\* Internet connection for first build (to fetch all Maven and Hadoop dependencies)  
  
  
\----------------------------------------------------------------------------------  
Installing required packages for clean install of Ubuntu 14.04 LTS Desktop:  
  
  
\* Oracle JDK 1.7 (preferred)  
  $ sudo apt-get purge openjdk\*  
  $ sudo apt-get install software-properties-common  
  $ sudo add-apt-repository ppa:webupd8team/java  
  $ sudo apt-get update  
  $ sudo apt-get install oracle-java7-installer  
\* Maven  
  $ sudo apt-get -y install maven  
\* Native libraries  
  $ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev  
\* ProtocolBuffer 2.5.0 (required)  
  $ sudo apt-get -y install libprotobuf-dev protobuf-compiler  
  
  
Optional packages:  
  
  
\* Snappy compression  
  $ sudo apt-get install snappy libsnappy-dev  
\* Bzip2  
  $ sudo apt-get install bzip2 libbz2-dev  
\* Jansson (C Library for JSON)  
  $ sudo apt-get install libjansson-dev  
\* Linux FUSE

$ sudo apt-get install fuse libfuse-dev

上面是编译后产生的文件

下面开始总结

\-----------------

安装jdk

hadoop java写的这是必须的

安装ssh

ssh  一种加密网络协议，安装这个目的是为了在不同节点通信的时候不用麻烦的输入密码

生成密钥  
ssh-keygen -t rsa -P ""    
执行后会在.ssh目录下生成id\_rsa和id\_rsa.pub两个文件  
进入.ssh目录，并将id\_rsa.pub追加到authorized\_keys文件中  
cd ./.ssh    
cat id\_rsa.pub >> authorized\_keys     
chmod 600 authorized\_keys \# 修改用户权限

安装Maven

maven 用来构建hadoop 的，毕竟hadoop中的内容是好几个大公司写的

Maven 和 Ant 针对构建问题的两个不同方面。

Ant 为 Java 技术开发项目提供跨平台构建任务。

Maven 本身描述项目的高级方面，它从 Ant 借用了绝大多数构建任务。

因此，由于 Maven 和 Ant代表两个差异很大的工具

这个好像系统自带的有，不用我自己动手了

安装 Findbugs

静态分析工具，在编译源码的时候用来发现错误的

\# vim /etc/profile  
export FINDBUGS\_HOME=/usr/local/findbugs/findbugs-3.0.0  
export PATH=$PATH:$FINDBUGS\_HOME/bin

下载、安装配置环境

安装protocolbuffers