Hadoop集群环境搭建之伪分布式搭建流程

Bertha 。 2022-02-23 01:06 390阅读 0赞

1.  **关防火墙**

> 1.首先关闭window防火墙  
> service iptables status 查看Linux 防火墙状态  
> service iptables stop 关闭Linux防火墙  
> chkconfig iptables off 永久关闭

1.  **设置静态Ip地址**

> vi /etc/sysconfig/network-scripts/ifcfg-et0 修改网卡信息  
> service network restart 重启网卡  
> ping ip 连接 window ip地址  
> vim /etc/udev/rules.d/70-persistent-net.rules  
> 如果是克隆虚拟机的话得修改  
> ![在这里插入图片描述][20190415171738145.png]

1.  **修改HostName**

> hostname hadoop （临时）  
> vi /etc/sysconfig/network （永久）  
> 重启网卡 （命令行重启）  
> 需要进行 机器重启（reboot）   注： 在虚拟机中重启

1.  **IP与HostName 绑定**

> 设置network文件hosts 映射文件  
> 配置映射 ： vim /etc/hosts  
> ip 名字 别名 如：127.0.0.1 hadoop

1.  **安装jdk hadoop**

> 1.先通过SSH Secure Shell Client 上传tar.gz压缩包到 Downloads  
> [2.cd][] ~ 到根目录  
> [3.ls][] 查看tar压缩包是否存在  
> [4.cd][] Downloads/  
> 5.tar -zxvf jdk压缩包  
> 6.vim /etc/profile 显示编译配置文件  
> 7.`export JAVA_HOME=/root/Downloads/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/root/Downloads/hadoop-2.6.5 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin`  
> 8.source /etc/profile 启动配置文件  
> 9.查看是否配置成功 java | hadoop 输出数据则代表配置成功

1.  **配置密钥 ssh**

> [1.cd][] /bin 转到bin配置文件下  
> 2.ssh-keygen -t rsa 生成密钥 回车键  
> [3.cd][] ~ 回到超级用户家目录  
> [4.ls][] \-la 显示文件及隐藏文件  
> [5.cd][] .ssh 到.ssh根目录下  
> [6.ls][] 显示文件内容  
> 7.当密钥是空的话 ssh文件是空的  
> 8.cat 查看内容钥匙 id\_rsa 私有化锁 id\_rsa.pub 公有钥匙  
> [9.cd][] ~ 回到家目录  
> 10.ssh-copy-id ip地址 (如果在搭建全局集群的时候，写映射 主机别名就可以了)复制钥匙  
> 11.ifconfig 查看网卡  
> 12.ssh root@IP地址 另一台机器的ip 进入到其他虚拟机  
> 13.改配置文件 映射 vim /etc/hosts  
> 之后进入 i 输入ip地址 别名 保存退出

1.  **修改配置文件（$HADOOP\_HOME压缩包/etc/hadoop/目录下）**

> [1.cd][] ~  
> 2. ls  
> 3.找到存储包目录 如Downloads  
> [4.cd][] Downloads/  
> [5.ls][]  
> [6.cd][] hadoop-2.6.5 （hadoop解压以后包）  
> [7.ls][]  
> [8.cd][] etc  
> [9.ls][]  
> [10.cd][] hadoop  
> [11.ls][]  
> 修改以下配置文件  
> [hadoop-env.sh][]  
> core-site.xml  
> hdfs-site.xml  
> Mapred-site.xml  
> yarn-site.xml

1.  **配置文件 [hadoop-env.sh][]**

export JAVA_HOME=/root/Downloads/jdk1.7.0_79

export HADOOP_HOME=/root/Downloads/hadoop-2.6.5

![在这里插入图片描述][2019040518433781.png]  
9. **配置文件 core-site.xml （namenode 服务的）**

<configuration>	
    		<property>		 — — 指定NameNode主机名与端口号
    			<name>fs.defaulFS</name>
    			<value>hdfs://hadoop:8020</value>
    		</property>
    		<property>
    			<name>hadoop.tmp.dir</name>
    			<value>/hadoop/tmpdir</value>
    		</property>
    	</configuration>

![在这里插入图片描述][20190405185334633.png]  
namenode 的主机名和端口号 ： 主机名是自己的 比如 ： 9000  
hadoop 集群格式化之后形成的  
（name 是标准的，value路径 ：最好不要写在/root下 ，这个是fsimage和edits 生成文件的路径）

1.  **配置文件 hdfs-site.xml --设置HDFS的副本数 （默认的是3)**

<property>		 — — 设置HDFS的副本数
            	<name>dfs.replication</name>
            	<value>1</value>
        </property>

![在这里插入图片描述][20190405185506181.png]

1.  **配置文件 yarn-site.xml （服务于yarn） mr 运行在yarn上**

<property>
            	<name>yarn.nodemanager.aux-services</name>
            	<value>mapreduce_shuffle</value>
        </property>

![在这里插入图片描述][20190405185735947.png]  
Hdfs:分布式的 nodemanager (namenode) resourceManager(datenode)  
一主多从的关系

1.  **配置文件 mapred-site.xml mr---->yarn**

<property>	 	        		
    	<name>mapreduce.framework.name</name>
            	<value>yarn</value>
        </property>

![在这里插入图片描述][20190405190103142.png]

1.  **集群进行格式化 format**

> ##### 启动HDFS : #####
> 
> **格式化 NameNode(只需运行一次)**  
> $ bin/hdfs namenode -format  
> **启动 NameNode**  
> $ sbin/hadoop-daemon.sh start namenode  
> **启动 DataNode**  
> $ sbin/hadoop-daemon.sh start datanode  
> **HDFS 监控WEB页面**  
> [http://master:50070/][http_master_50070]  
> **启动 SecondaryNameNode**  
> $ sbin/hadoop-daemon.sh start secondarynamenode  
> **SecondaryNameNode 监控WEB页面**  
> [http://master:50090/][http_master_50090]
> 
> ##### 启动YARN: #####
> 
> **启动 ResourceManager**  
> $ sbin/yarn-daemon.sh start resourcemanager  
> **启动 NodeManager**  
> $ sbin/yarn-daemon.sh start nodemanager  
> **查看启动守护进程**  
> $ jps  
> **查看日志**  
> yarn-hadoop-resourcemanager-hadoop-yarn.dragon.org.log  
> yarn-hadoop-nodemanager-hadoop-yarn.dragon.org.log  
> **登陆监控WEB页面**  
> [http://master:8088/][http_master_8088]  
> [http://master:8042/][http_master_8042]

1.  **启动集群**

> [start-dfs.sh][]

1.  **常见问题**

> 1.Jps 看不到东西  
> 2.Web访问 50070和8088看不到  
> 3.运行yarn jar ----- 报错  
> 4.Linux文件目录系统和Hadoop目录系统不熟悉

1.  **解决方法**

> 1.Jps看不到 需要查：hadoop目录下的各个配置文件是否有问题（尤其注意env.sh的java目录），主机环境问题（主机名称文件和映射文件），java是否有问题，  
> 如果是集群考虑是否是网络问题  
> 2.查看jps各个组件服务是否都起来了，虚拟机本地先试下，没有问题的话，可能是网络问题。  
> 3.可能是mapred-site.xml和yarn-site.xml 配置有问题，具体需要查看logs日志

1.  **建议-经验**

> 1.经常使用ping命令 检查通讯  
> 2.脑中有对那些文件做的那些配置有概念，这样才能快速找到问题（这个需要时间的累积）  
> 3.想不到问题的时候翻日志  
> 4.还找不到只能仔细的对所有配过的文件配置做逐字的审核

## 日志文件 ##

> 启动日志文件目录 $HADOOP\_HOME/logs  
> 分析日志文件的格式 【log】和【out】  
> .log：通过log4j记录的，记录大部分应用程序的日志信息  
> .out：记录标准输出和标准错误日志，少量记录  
> 日志文件的命名规则  
> 【框架名称-用户名-进程名-主机名-日志格式后缀】  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70]

## Hadoop启动方式 共三种 ##

1.无脑启动 --不常用  
[Start-all.sh/Stop-all.sh][Start-all.sh_Stop-all.sh]

2.安装大模块启动 —常用  
[Start-dfs.sh][]  
[Start-yarn.sh][]

3.安装小模块一个一个启动 --原始方法  
[hadoop-daemon.sh][] start namenode  
[hadoop-daemons.sh][] start datanode  
[hadoop-daemon.sh][] start secondarynamenode

[yarn-daemon.sh][] start resourcemanager  
[yarn-daemons.sh][] start nodemanager  
[mr-jobhistory-daemon.sh][] start historyserver

## 总结： ##

[start-all.sh][] \----start-dfs.sh and [start-yarn.sh][]  
[start-dfs.sh][] — [hadoop-daemons.sh][] 5个  
[start-yarn.sh][] – [yarn-daemons.sh][] 2个  
[hadoop-daemons.sh][] \--hadoop-env.sh  
[hadoop-env.sh][] 设置大量的环境变量 给hadoop使用

Hadoop启动流程
    1.读取hadoop-env.sh
    2.读取core-default.xml、hdfs-default.xml 、mapred-default.xml 、yarn-default.xml  四个默认文件
    3.读取core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves 五个用户自定义文件
    4.依次启动hadoop服务（运行sbin下的start-dfs.sh和start-yarn.sh脚本）

[20190415171738145.png]: /images/20220223/98de29249bfe4e779e294984672835d9.png
[2.cd]: http://2.cd
[3.ls]: http://3.ls
[4.cd]: http://4.cd
[1.cd]: http://1.cd
[3.cd]: http://3.cd
[4.ls]: http://4.ls
[5.cd]: http://5.cd
[6.ls]: http://6.ls
[9.cd]: http://9.cd
[5.ls]: http://5.ls
[6.cd]: http://6.cd
[7.ls]: http://7.ls
[8.cd]: http://8.cd
[9.ls]: http://9.ls
[10.cd]: http://10.cd
[11.ls]: http://11.ls
[hadoop-env.sh]: http://hadoop-env.sh
[2019040518433781.png]: /images/20220223/63693b32c0394ebdb1bfa34bd02bd8e0.png
[20190405185334633.png]: /images/20220223/eddcf9b3efb04f24adf00317562d5a64.png
[20190405185506181.png]: /images/20220223/916fa0efc1154f48b9553bb4ac3ef1c1.png
[20190405185735947.png]: /images/20220223/31cd6d80693f4dd085c42e2e2a57bdef.png
[20190405190103142.png]: /images/20220223/080ccd2f0cdf404e885f8157a1a1f7a2.png
[http_master_50070]: http://master:50070/
[http_master_50090]: http://master:50090/
[http_master_8088]: http://master:8088/
[http_master_8042]: http://master:8042/
[start-dfs.sh]: http://start-dfs.sh
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70]: /images/20220223/a0717e5313a44f0c917214776535fcdf.png
[Start-all.sh_Stop-all.sh]: http://Start-all.sh/Stop-all.sh
[Start-dfs.sh]: http://Start-dfs.sh
[Start-yarn.sh]: http://Start-yarn.sh
[hadoop-daemon.sh]: http://hadoop-daemon.sh
[hadoop-daemons.sh]: http://hadoop-daemons.sh
[yarn-daemon.sh]: http://yarn-daemon.sh
[yarn-daemons.sh]: http://yarn-daemons.sh
[mr-jobhistory-daemon.sh]: http://mr-jobhistory-daemon.sh
[start-all.sh]: http://start-all.sh
[start-yarn.sh]: http://start-yarn.sh