Ubuntu14.04下安装Hadoop2.4.0 （单机模式）

心已赠人 2022-08-09 02:11 5阅读 0赞

## 一、在Ubuntu下创建hadoop组和hadoop用户 ##

增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户

### 1、创建hadoop用户组 ###

![Center][]

### 2、创建hadoop用户 ###

sudo adduser -ingroup hadoop hadoop

回车后会提示输入新的UNIX密码，这是新建用户hadoop的密码，输入回车即可。

如果不输入密码，回车后会重新提示输入密码，即密码不能为空。

最后确认信息是否正确，如果没问题，输入 Y，回车即可。

![Center 1][]

### 3、为hadoop用户添加权限 ###

输入：sudo gedit /etc/sudoers

回车，打开sudoers文件

给hadoop用户赋予和root用户同样的权限

![Center 2][]

![Center 3][]

## 二、用新增加的hadoop用户登录Ubuntu系统 ##

## 三、安装ssh ##

sudo apt-get install openssh-server

![Center 4][]

在这里会出现一个错误:

Reading package lists… Done  
Building dependency tree  
Reading state information… Done  
Package openssh-server is not available, but is referred to by another package.  
This may mean that the package is missing, has been obsoleted, or  
is only available from another source  
E: Package openssh-server has no installation candidate

解决方法如下：  
**\# sudo apt-get update  //可能提示失败，执行第二步  
\# sudo apt-get upgrade   //可能提示失败，执行第三步吧  
\# sudo apt-get install   //再执行就成功了，这里执行apt-get install  ssh**

这样就可以正常使用apt-get了～

安装完成后，启动服务

sudo /etc/init.d/ssh start

查看服务是否正确启动：ps -e | grep ssh

![Center 5][]

设置免密码登录，生成私钥和公钥

ssh-keygen -t rsa -P ""

![Center 6][]

此时会在／home／hadoop/.ssh下生成两个文件：id\_rsa和id\_rsa.pub，前者为私钥，后者为公钥。

下面我们将公钥追加到authorized\_keys中，它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

cat ~/.ssh/id\_rsa.pub >> ~/.ssh/authorized\_keys

![Center 7][]

登录ssh

ssh localhost

![Center 8][]

退出

exit

## 四、安装Java环境 ##

sudo apt-get install openjdk-7-jdk

![Center 9][]  
查看安装结果，输入命令：java -version，结果如下表示安装成功。

![Center 10][]

## 五、安装hadoop2.4.0 ##

###     1、官网下载http://mirror.bit.edu.cn/apache/hadoop/common/ ###

###     2、安装 ###

解压

sudo tar xzf hadoop-2.4.0.tar.gz

假如我们要把hadoop安装到/usr/local下

拷贝到/usr/local/下，文件夹为hadoop

sudo mv hadoop-2.4.0 /usr/local/hadoop

![Center 11][]

赋予用户对该文件夹的读写权限

sudo chmod 774 /usr/local/hadoop

![Center 12][]

### 3、配置 ###

1）配置~/.bashrc

配置该文件前需要知道Java的安装路径，用来设置JAVA\_HOME环境变量，可以使用下面命令行查看安装路径

update-alternatives - -config java

执行结果如下：

![Center 13][]

完整的路径为

/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

我们只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

配置.bashrc文件

sudo gedit ~/.bashrc

该命令会打开该文件的编辑窗口，在文件末尾追加下面内容，然后保存，关闭编辑窗口。

\#HADOOP VARIABLES START

export JAVA\_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP\_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP\_INSTALL/bin

export PATH=$PATH:$HADOOP\_INSTALL/sbin

export HADOOP\_MAPRED\_HOME=$HADOOP\_INSTALL

export HADOOP\_COMMON\_HOME=$HADOOP\_INSTALL

export HADOOP\_HDFS\_HOME=$HADOOP\_INSTALL

export YARN\_HOME=$HADOOP\_INSTALL

export HADOOP\_COMMON\_LIB\_NATIVE\_DIR=$HADOOP\_INSTALL/lib/native

export HADOOP\_OPTS="-Djava.library.path=$HADOOP\_INSTALL/lib"

\#HADOOP VARIABLES END

最终结果如下图：

![Center 14][]

执行下面命，使添加的环境变量生效：

source ~/.bashrc

2）编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh

执行下面命令，打开该文件的编辑窗口

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA\_HOME变量，修改此变量如下

export JAVA\_HOME=/usr/lib/jvm/java-7-openjdk-amd64

修改后的hadoop-env.sh文件如下所示：

![Center 15][]

## 六、WordCount测试 ##

单机模式安装完成，下面通过执行hadoop自带实例WordCount验证是否安装成功

/usr/local/hadoop路径下创建input文件夹

mkdir input

拷贝README.txt到input

cp README.txt input

执行WordCount

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

![Center 16][]

[Center]: /images/20220731/62f027cea2354d4caaaab93136520f2e.png
[Center 1]: /images/20220731/409fbdab03fa4ec9a741996cbfb5ba80.png
[Center 2]: /images/20220731/4e620701bdaf4a01bf453e9c3f1ce5a3.png
[Center 3]: /images/20220731/124bbb02bf2e49deaddf0e7cc047fc0f.png
[Center 4]: /images/20220731/e7db0b519c6b473cbf504f4e44205fc0.png
[Center 5]: /images/20220731/5c526ef145e64ab8b20bc11771d9b726.png
[Center 6]: /images/20220731/ef74ae4999614ff294a278c1adbd6108.png
[Center 7]: /images/20220731/1a26492bd97e46b3a70dfe31578b26f4.png
[Center 8]: /images/20220731/198a36442f3f452c9dccbf573bc33d7e.png
[Center 9]: /images/20220731/0257c9e3c7f04bb79e79a69becced08a.png
[Center 10]: /images/20220731/7b19d32571bc4852a8f0b45f1cc9848a.png
[Center 11]: /images/20220731/fad4b14aef6d4a7f99dbce40d619534c.png
[Center 12]: /images/20220731/7ea25b6c5b204dd58e22b5fee611ec07.png
[Center 13]: /images/20220731/7f3ca6db6cf84b8b87835c01d3cb4204.png
[Center 14]: /images/20220731/3316d3fafac242de82563f853b7ba6ab.png
[Center 15]: /images/20220731/a91ce2c80ba7477991611ef8fe45b227.png
[Center 16]: /images/20220731/b91128467aa94624a3302ea354f3530d.png