Hadoop伪分布式集群的搭建

爱被打了一巴掌 2022-09-22 15:54 277阅读 0赞

1，jdk安装，这里省略  
2，安装Hadoop软件（直接加压就能使用，这里也不做解释）  
3，主要说下需要配置那些文件

1.  修改etc/hadoop/core-site.xml:`<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>`  
    2，配置etc/hadoop/hdfs-site.xml:

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

3，终端输入下面这个命令来格式化

$ bin/hdfs namenode -format

**完成以上步骤已经可以启动start-dfs.sh了，启动后可以使用jps命令来查看是否启动**  
4，修改etc/hadoop/mapred-site.xml:

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

5，修改etc/hadoop/yarn-site.xml:

<configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

已经配置完成，使用`$ sbin/start-yarn.sh`来启动  
完成后用jps查看进程如下  
![这里写图片描述][20160702041147124]

看是否进程都启动了，如果有部分进程没有启动可以从以下方面考虑  
1，查看防火墙是否关闭  
2，查看配置是否有问题  
3，找大神求教吧，我无能为力了

最后的忠告，如果英文水平不是太差的话建议看官方文档，你会有不一样的收获，祝好

[20160702041147124]: /images/20220721/9fdee17960064f4fb7adfcddcf782bd5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，277人围观）

还没有评论，来说两句吧...

相关阅读

相关【Hadoop】下载安装及伪分布式集群搭建教程

一文详解hadoop下载安装以及伪分布式集群搭建教程

╰+哭是因爲堅強的太久メ/ 2024年04月25日 20:22/ 0 赞/ 73 阅读

相关 hadoop伪分布式集群搭建（超详细）

需要java安装包和hadoop安装包的可以选择这里下载链接：https://pan.baidu.com/s/1sQQ-uiwmJvYFPgpVsftL6Q? 提取码：a

╰+攻爆jí腚メ/ 2024年04月03日 09:45/ 0 赞/ 92 阅读

相关搭建hadoop分布式集群

搭建hadoop分布式集群 [~ jdk安装][jdk] ip修改 vi /etc/sysconfig/network-scripts/i

心已赠人/ 2024年02月18日 17:20/ 0 赞/ 16 阅读

相关 Hadoop伪分布式集群的搭建

1，jdk安装，这里省略 2，安装Hadoop软件（直接加压就能使用，这里也不做解释） 3，主要说下需要配置那些文件 1. 修改etc/hadoop/core-si

爱被打了一巴掌/ 2022年09月22日 15:54/ 0 赞/ 278 阅读

相关 Hadoop分布式集群搭建

题记：期间遇到了好多问题（不仅仅是为了搭建hadoop集群），自己对linux操作系统还真挺感兴趣的，稍微有些遗漏，总结下。软件准备三台服务器：CentOS7 64位、

妖狐艹你老母/ 2022年06月05日 03:07/ 0 赞/ 346 阅读

相关 hadoop集群环境搭建之伪分布式集群环境搭建（一）

hadoop集群环境搭建之伪分布式集群环境搭建（一） 1、Linux基本环境配置 1.1 虚拟机网络模式选择NAT 一般虚拟机默认是NAT模式 1.2 修改主机

╰+哭是因爲堅強的太久メ/ 2022年05月30日 23:49/ 0 赞/ 372 阅读

相关 Redis集群的伪分布式搭建

Redis集群的伪分布式搭建 > Redis集群中至少应该有三个节点。要保证集群的高可用，需要每个节点有一个备份机。 > Redis集群至少需要6台服务器。 >

小咪咪/ 2022年05月28日 04:50/ 0 赞/ 282 阅读

相关 Zookeeper集群搭建伪分布式

集群搭建伪分布式，一台物理机启动三个不同端口搭建步骤复制文件修改配置文件启动节点测试连接第一步复制文件将Zookee

灰太狼/ 2022年05月15日 23:46/ 0 赞/ 371 阅读

相关 Hadoop集群环境搭建之伪分布式搭建流程

1. 关防火墙 > 1.首先关闭window防火墙 > service iptables status 查看Linux 防火墙状态 > service iptabl

Bertha 。/ 2022年02月23日 01:06/ 0 赞/ 391 阅读

相关 Hadoop-HDFS的伪分布式和完全分布式集群搭建

转自： [https://blog.csdn.net/mhw666/article/details/91610598][https_blog.csdn.net_mhw666_

逃离我推掉我的手/ 2021年12月14日 09:37/ 0 赞/ 400 阅读