hadoop伪分布式安装（ubuntu16.04）

墨蓝 2023-06-26 15:29 34阅读 0赞

# hadoop伪分布式安装（ubuntu16.04） #

> hadoop伪分布式简单就地说hadoop程序运行在一台计算机上，除此外和完全分布式一样。

## 安装步骤 ##

网络配置参考https://blog.csdn.net/weiyang\_tang/article/details/103795664

> **创建用户hadoop**

创建用户：

sudo useradd -m hadoop -s /bin/bash

设置密码，可简单设置为 hadoop，按提示输入两次密码：

sudo passwd hadoop

hadoop 用户增加管理员权限，方便部署：

sudo adduser hadoop sudo

注销当前用户（在右上角），在登陆界面使用hadoop用户进行登陆

> **安装JDK，配置环境变量**

更新软件列表

sudo apt-get update

安装openjdk-8-jdk

sudo apt-get install openjdk-8-jdk

查看Java版本，如下：

java -version

查看openjdk安装路径

update-alternatives --config java

安装路径为/usr/lib/jvm/java-8-openjdk-amd64/  
配置JAVA\_HOME，在~/.bashrc文件

sudo vim ~/.bashrc

在~/.bashrc 写入

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

重新更新配置文件

source ~/.bashrc

测试一下

echo $JAVA_HOME

输出的路径和jdk路径是否一致

> **安装hadoop，配置环境变量**  
> hadoop下载路径[Index of /apache/hadoop/common][Index of _apache_hadoop_common]或者[Index of /apache/hadoop/common][Index of _apache_hadoop_common 1]

sudo mkdir /opt/module/
    sudo wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
    cd /opt/module/
    tar -zvxf hadoop-2.9.2.tar.gz

配置hadoop的环境变量到~/.bashrc

export HADOOP_PATH=/opt/module/hadoop-2.9.2
    export PATH=$PATH:$HADOOP_PATH/bin:$HADOOP_PATH/sbin

更新配置文件

source ~/.bashrc

测试环境变量是否正确

hadoop version

如果出现下面结果，环境变量配置成功

Hadoop 2.9.2
    Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
    Compiled by ajisaka on 2018-11-13T12:42Z
    Compiled with protoc 2.5.0
    From source with checksum 3a9939967262218aa556c684d107985
    This command was run using /opt/module/hadoop-2.9.2/share/hadoop/common/hadoop-common-2.9.2.jar

> **修改hadoop的配置文件**

跳转到/opt/module/hadoop-2.9.2/etc/hadoop

cd /opt/module/hadoop-2.9.2/etc/hadoop

hadoop-env.sh 配置JDK的安装路径：

echo $JAVA_HOME #JDK位置
     sudo vim hadoop-env.sh

在文件首部添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #根据上面jdk的位置

配置core-site.xml，在`<configuration></configuration>`之间填入，hostname修改成自己的虚拟主机的

<property>
    <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9000</value>
    </property>
    
    
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.9.2/data/tmp</value>
    </property>

配置：hdfs-site.xml，在`<configuration></configuration>`之间填入

<property>
    	<name>dfs.replication</name>
    	<value>1</value>
    </property>

> **启动集群**

格式化NameNode（第一次启动时格式化，以后就不要总格式化）

hdfs namenode -format

启动NameNode

hadoop-daemon.sh start namenode

启动DataNode

hadoop-daemon.sh start datanode

（3）查看集群  
（a）查看是否启动成功

jps

![在这里插入图片描述][20200102110128611.png]  
如果DataNode和NameNode都有则配置成功  
注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps  
（b）web端查看HDFS文件系统  
http://localhost:50070/dfshealth.html\#tab-overview  
![在这里插入图片描述][20200102110735111.png]

[Index of _apache_hadoop_common]: http://mirror.bit.edu.cn/apache/hadoop/common/
[Index of _apache_hadoop_common 1]: https://mirrors.cnnic.cn/apache/hadoop/common/
[20200102110128611.png]: https://img-blog.csdnimg.cn/20200102110128611.png
[20200102110735111.png]: https://img-blog.csdnimg.cn/20200102110735111.png