Linux下hadoop单机模式配置

女爷i 2022-03-11 07:38 258阅读 0赞

### 目录 ###

*  一、前言
 *  二、配置java环境
 *  三、创建hadoop账号
 *  四、配置SSH无密码登录
 *  五、安装配置hadoop单机版

# 一、前言 #

配置环境：阿里云服务器Centos

hadoop版本:2.6.5

博客亲测有效，配置过程中借鉴了一些文章，文后会给出链接，侵删，希望能帮到大家，谢谢~

# 二、配置java环境 #

**1、查看是否安装JDK：**

java -version

出现下图提示则未安装JDK  
![在这里插入图片描述][20190307213121329.png]  
**2、在root用户下，查看可安装的JDK版本：**

yum search java-1.7

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70]  
**3、安装JDK,我选择下面这个：**

yum -y install java-1.7.0-openjdk-devel.x86_64

出现Complete！如下图，则安装成功  
![在这里插入图片描述][20190307204424157.png]  
**要记住红框框起来的文件夹名称，后面需要用该文件夹所在的路径作为JAVA\_HOME**

**4、找到JDK的目录，确认是否正确安装：**

cd /usr/lib/jvm/

![在这里插入图片描述][20190307204905675.png]  
通过 **ls** 指令查看文件夹内容，可以看到在JVM文件夹下面有多个JDK版本，通过已安装成功的提示信息里面的JDK版本，找到我们刚安装的版本文件夹。  
![在这里插入图片描述][20190307205052578.png]  
**cd**进入版本文件夹，**cd**进入文件夹下的**lib**目录，**ls**查看文件夹的内容

![在这里插入图片描述][20190307205718604.png]  
如上图所示，lib目录下存在上图红框文件则表示安装无误

**5、配置环境变量：**

返回上层JDK文件夹，通过**pwd**指令获取JDK的安装路径

![在这里插入图片描述][20190307210542555.png]  
红框路径即为JAVA\_HOME路径

JAVA_HOME路径：  /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.141-2.6.10.1.el7_3.x86_64

编辑环境变量文件

vim /etc/profile

![在这里插入图片描述][20190307211052721.png]  
修改环境变量文件，将环境变量中的JAVA\_HOME路径修改为刚获取的JAVA\_HOME路径后保存退出  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 1]  
红框为替换后的JAVA\_HOME路径，**注意！是第一个JAVA\_HOME，请不要弄错**

**6、让环境变量立即生效：**

输入命令让环境变量立即生效

source /etc/profile

**7、检查环境变量是否配置成功：**

输入命令

javac

如下图所示则配置成功  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 2]

若提示，“bash: javac: 未找到命令…”，则说明配置失败，检查环境变量的路径是否正确，之前的步骤是否正确，反复尝试下

成功配置及重启后，可通过

java -version

查看版本  
![在这里插入图片描述][20190307212711834.png]

# 三、创建hadoop账号 #

**1、使用root账号登录，通过useradd增加用户：**

useradd -m hadoop -s /bin/bash # 创建新用户Hadoop

![在这里插入图片描述][20190307213741700.png]  
**2、给hadoop新用户设置密码：**

passwd hadoop

![在这里插入图片描述][20190307213818733.png]  
**3、给hadoop用户增加管理员权限：**

输入指令

visudo

![在这里插入图片描述][20190307214350475.png]  
找到root ALL=（ALL）ALL这一行，一般在98行附近，然后在这一行下面增加指令：

hadoop ALL=（ALL） ALL #当中的间隔为tab

保存退出  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 3]  
**4、切换hadoop用户：**

su hadoop

# 四、配置SSH无密码登录 #

**1、检查自己服务器上是否已经安装好SSH client、SSH serve：**

执行以下指令进行检查：

rpm -qa | grep ssh

如下图所示则不需要安装  
![在这里插入图片描述][20190307214916661.png]  
如果需要安装，则可以通过yum进行安装

sudo yum –y install openssh-clients
    sudo yum –y install openssh-server

**2、测试SSH是否可用：**

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入hadoop用户的登录密码，这样就实现登录到hadoop用户了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 4]  
上述的登陆是需要每次输入密码的，但我们的需求是配置成SSH无密码登陆后会比较方便

**3、配置SSH无密码登录：**

输入**exit** 回到原先的终端命令窗口，然后先后执行以下指令：

1、cd ~/.ssh/ 							#若没有该目录，请先执行一次ssh localhost
    2、ssh-keygen -t rsa 					#会有提示，都按回车就可以
    3、cat id_rsa.pub >> authorized_keys 	#加入授权
    4、chmod 600 ./authorized_keys 			#修改文件权限

# 五、安装配置hadoop单机版 #

**1、下载hadoop2：**

也可以下载hadoop3，但是我为了稳定，所以下载hadoop2

通过该网址下载：[http://mirror.bit.edu.cn/apache/hadoop/common/][http_mirror.bit.edu.cn_apache_hadoop_common]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 5]  
点击红框的那个，进入下图  
![在这里插入图片描述][20190307220351581.png]  
点击红框标记的下载

下载完成后，上传至hadoop用户上(你也可以通过命令在hadoop用户直接下载hadoop2，而无需我这么复杂，下载再上传，具体命令另行百度)  
![在这里插入图片描述][20190307220722286.png]  
**2、安装hadoop2：**

通过**pwd**查看hadoop的路径  
![在这里插入图片描述][20190307221212418.png]  
我选择将hadoop安装至/usr/local/中：

sudo tar -zxf /下载目录/hadoop-2.6.5.tar.gz -C /usr/local # 解压

![在这里插入图片描述][20190307221350760.png]  
解压成功后，进入/usr/local/查看

cd /usr/local/

![在这里插入图片描述][20190307221550226.png]  
可以看到，出现了hadoop-2.6.5目录，为了方便，将其修改为hadoop

sudo mv ./hadoop-2.6.5/ ./hadoop

![在这里插入图片描述][20190307222336857.png]  
修改文件权限

sudo chown -R hadoop:hadoop ./hadoop

![在这里插入图片描述][20190307222347809.png]  
Hadoop 解压后即可使用。依次输入如下命令来检查 hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop #去到hadoop目录
    
    ./bin/hadoop version #检查hadoop是否可以

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 6]  
**3、进行单机版配置及测试：**

Hadoop 默认模式为非分布式模式，不需要进行其他任何配置即可运行。非分布式即单 Java 进程，方便进行调试。

运行以下指令：

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar

可以看到所有例子，包括wordcount、terasort、join、grep等  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 7]  
为了测试，我们选择运行一个 grep 例子（查找），将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs\[a-z.\]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

cd到hadoop目录下

cd /usr/local/hadoop

新建一个input文件夹

mkdir ./input/

![在这里插入图片描述][20190307223251829.png]  
将配置文件作为输入文件

cp ./etc/hadoop/*.xml ./input

筛选当中符合正则表达式 dfs\[a-z.\]+ 的单词并统计出现的次数，并输出到output文件夹

./bin/hadoop jar ./share/hadoop/mapreduce/hadoopmapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 8]  
查看output中的运行结果

cat ./output/*

![在这里插入图片描述][20190307223634693.png]  
出现结果则hadoop单机版就配置成功了！祝贺你！

若出现提示 **“INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnknowHostException”**，这需要执行如下命令修改 hosts文件，为你的主机名增加IP映射：

sudo vim /etc/hosts

![在这里插入图片描述][20190307223856706.png]  
保存文件后，重新运行 hadoop 实例

**注意! Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将./output删除：**

rm -r ./output

**总结：hadoop单机版配置不是特别困难，只要按照步骤一步步来就可以搭建成功了，即使不成功也不要气馁，慢慢来，加油！**

参考文章：  
1、[https://blog.csdn.net/x541211190/article/details/74786393][https_blog.csdn.net_x541211190_article_details_74786393]

[20190307213121329.png]: /images/20220311/031a3ba94704438188a3392a37304d82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70]: /images/20220311/de5a1fc67ab449caa1fac178d621bb34.png
[20190307204424157.png]: /images/20220311/86eb2a363a5c4dedbf201a36239f08b6.png
[20190307204905675.png]: /images/20220311/25f128fe566a4c7d8fa796167b133a2c.png
[20190307205052578.png]: /images/20220311/ec87f07a37074e89bd6ca59d1df08123.png
[20190307205718604.png]: /images/20220311/34aa573ee2e94470a4b611d82ecac193.png
[20190307210542555.png]: /images/20220311/18e06d2b73d1431fb7a3955e2bf92253.png
[20190307211052721.png]: /images/20220311/b947bfc7013d4670b79a8519ff667cd7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 1]: /images/20220311/de988663333e4044917d25a5e9583aeb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 2]: /images/20220311/4d61a4b2c61647ceb3adbac9a3115230.png
[20190307212711834.png]: /images/20220311/dd39894178f84d249ecd0a5bdf0c3617.png
[20190307213741700.png]: /images/20220311/052e0397a54c47c9bb3a165211f9804a.png
[20190307213818733.png]: /images/20220311/36886503493743b6b4538ab9217a7e4d.png
[20190307214350475.png]: /images/20220311/c0758f3df36841488ddaa50f2aeebb9f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 3]: /images/20220311/499b64a857424afdb7ac30d93f636bee.png
[20190307214916661.png]: /images/20220311/f15fd11f74c64c329faa9ec98bca5dd9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 4]: /images/20220311/46a3e36108dd454c8fe5f5a1af3187e8.png
[http_mirror.bit.edu.cn_apache_hadoop_common]: http://mirror.bit.edu.cn/apache/hadoop/common/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 5]: /images/20220311/5a047a1791d44e95a51855dd53b1dc76.png
[20190307220351581.png]: /images/20220311/e9aba50b4ec8490481a245a2a6ba6c94.png
[20190307220722286.png]: /images/20220311/f49f7f25242a4cc29d265c86110756c6.png
[20190307221212418.png]: /images/20220311/7dc9b94abd974ec4a1f2cbf72b56e384.png
[20190307221350760.png]: /images/20220311/ce9226741153468995155ac172e89ac3.png
[20190307221550226.png]: /images/20220311/b48a6ec114be47dbbf904dbcdeb4f6b7.png
[20190307222336857.png]: /images/20220311/233e84cf8d2b49bba32e97cbd958824c.png
[20190307222347809.png]: /images/20220311/665b0fb360884dbe8df241d520bd1172.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 6]: /images/20220311/be3f241070d9455ab86287eb3d1d029e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 7]: /images/20220311/c1ee271ba8ed453095f02484b8a4c347.png
[20190307223251829.png]: /images/20220311/091b06a3612840b5a1950b7e7b56a6ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 8]: /images/20220311/efd13823c3a94f2ab39f1ed3e239b6e4.png
[20190307223634693.png]: /images/20220311/894200fc2f704fa589f03e14c39afe03.png
[20190307223856706.png]: /images/20220311/66c60364f36a4fef872847280c60efe1.png
[https_blog.csdn.net_x541211190_article_details_74786393]: https://blog.csdn.net/x541211190/article/details/74786393