hadoop_安装_伪集群

谁践踏了优雅 2022-05-25 06:17 296阅读 0赞

1. 装一台新虚拟机

1) 机器准备

安装centos7

ip：192.168.75.108；

密码：root123；

2) 修改hosts

Vi /etc/hosts

192.168.75.108 centos8

3) 关闭访火墙

\#查看firewall

systemctl status firewalld.service

\#启动firewall

systemctl start firewalld.service

\#停止firewall

systemctl stop firewalld.service

\#禁止firewall开机启动

systemctl disable firewalld.service

4) 修改主机名

hostnamectl set-hostname centos8

2. 无密码访问

ssh-keygen

ssh-copy-id root@centos8

3. 装jdk

安装命令：

rpm -ivh jdk-8u11-linux-x64.rpm

环境变量如下：

vi /etc/profile

export JAVA\_HOME=/usr/java/jdk1.8.0\_11

export PATH=$PATH:$JAVA\_HOME/bin

source /etc/profile

4. 装hadoop

1) 准备安装包

创建目录/opt/hadoop，将包放进去：

![20180509144249863][]

解压：

tar -zxvf hadoop-2.6.0.tar.gz

2) 修改环境变量

vi /etc/profile

export HADOOP\_HOME=/opt/hadoop/hadoop-2.6.0

export PATH=.:$HADOOP\_HOME/bin::$HADOOP\_HOME/sbin:$PATH

source /etc/profile

验证：hadoop version

3) 修改配置文件

①　**hadoop-env.sh**

vi $HADOOP\_HOME/etc/hadoop/hadoop-env.sh

在文件中修改JAVA\_HOME参数

export JAVA\_HOME=/usr/java/jdk1.8.0\_11

②　**hdfs-site.xml**

vi $HADOOP\_HOME/etc/hadoop/hdfs-site.xml

<name>dfs.replication</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/opt/hadoop/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/opt/hadoop/dfs/data</value>

</property>

③　**core-site.xml**

vi $HADOOP\_HOME/etc/hadoop/core-site.xml

在<configuration>节点中添加如下property：

<name>fs.defaultFS</name>

<value>hdfs://centos8:19000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/opt/hadoop/hadoop\_tmp</value>

</property>

19000为rpc的端口号，默认为9000

④　**mapred-site.xml**

vi $HADOOP\_HOME/etc/hadoop/mapred-site.xml

在<configuration>节点中添加如下property：

<name>mapreduce.framework.name</name>

</property>

注：上面的包中并没有mapred-site.xml文件，只有mapred-site.xml.template文件。

其内容就是它，拷贝一份再改。

cp mapred-site.xml.template mapred-site.xml

⑤　**yarn-site.xml**

vi $HADOOP\_HOME/etc/hadoop/yarn-site.xml

在<configuration>节点中添加如下property：

<name>yarn.resouremanager.hostname</name>

<value>centos8</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>centos8:18088</value>

</property>

4) 格式化hdfs

①　创建配置文件中指定的各目录：

l core-site.xml的hadoop.tmp.dir目录

cd /opt/hadoop/

mkdir hadoop\_tmp

mkdir dfs dfs/data dfs/name

②　格式化hdfs

hdfs namenode -format

5. 启动hadoop

start-all.sh

6. 检查启动结果

Jps查看进程，有五个：

![70][]

[20180509144249863]: /images/20220525/19033e75ec294dd2a6276557d07476cc.png
[70]: /images/20220525/a850341aedbb4088835134030715ceeb.png

hadoop_安装_伪集群

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 hadoop-3.2.1伪分布集群安装

相关 hadoop伪分布式集群安装

相关 Hadoop集群安装部署_伪分布式集群安装_02

相关 Hadoop集群安装部署_伪分布式集群安装_01

相关 hadoop_安装_伪集群

相关 storm_伪集群安装

相关 redis集群的安装（伪集群）

相关 CentOS7.0安装Hadoop伪分布集群

相关 docker安装hadoop伪分布式集群

相关 hadoop单节点伪集群