hadoop完全分布式配置

深藏阁楼爱情的钟 2022-01-27 18:21 262阅读 0赞

##### hadoop的组成： #####

##### hdfs： 分布式存储 #####

一主多从 一助理
    	3个角色
    	namenode
    		分布式存储的老大
    		管理每个节点上存储数据的编号   对应关系
    	datanode
    		负责真正的数据存储的
    		真正干活的
    	secondarynamenode
    		namenode的助理
    		备份namenode的数据    帮助namenode减压

##### mapreduce： #####

分布式计算程序
    	安装完成  没有对应进程

##### yarn： #####

服务于计算程序的
    	主从
    	resourcemanager:
    		资源调度的老大
    		决定哪一个计算任务需要多少资源  在哪一个节点分配资源的
    	nodemanager ：
    		提供资源运行任务的

##### hadoop安装完成： #####

进程   jps
    	namenode     
    	datanode
    	secondarynamenode
    	resourcemanager
    	nodemanager

#### hadoop的安装： ####

##### 1）安装版本： #####

hadoop2.6  不建议   
    hadoop2.7.7
    不选择最新   不选择老版本

##### 2）安装的模式： #####

单机 
    伪分布式   （ 一个节点）
    完全分布式安装
    高可用
    联邦

##### 3）集群规划 #####

3台 :硬件   内存   1G   主节点1.5--2G
    
    			hdp01		hdp02				hdp03
    hdfs		namenode
    			datanode	datanode			datanode
    						secondarynamenode
    mapreduce 
    yarn										resourcemanager
    			nodemanager	nodemanager			nodemanager
    			
    
    注意：  
    	1)namenode  secondarynamenode  不能在同一个节点上
    	2)主节点一般性能高一些  内存  1.5G

##### 4）开始安装： #####

###### 1）安装准备 ######

1）ip
    	2）主机名
    	hostname 
    	3）主机映射
    	vi /etc/hosts 
    	192.168.191.201 hdp01
    	192.168.191.202 hdp02
    	192.168.191.203 hdp03
    	4)检查防火墙和selinux
    	关闭防火墙
    	service iptables status
    	service iptables stop 
    	
    	selinux  linux高级权限管理  运维
    	sudo vi /etc/sysconfig/selinux
    	SELINUX=disabled
    	
    	5）开启普通用户的sudoers权限
    	vi /etc/sudoers
    	hadoop  ALL=(ALL)       ALL
    	
    	切换为普通用户了
    	
    	6）修改系统启动级别
    	修改为3 
    	sudo vi /etc/inittab 
    	id:3:initdefault:
    	
    	7)进行免密码登录
    	3台机器之间  都要做
    	跟用户有关  必须普通用户
    	ssh-keygen 生成秘钥
    	ssh-copi-id 主机名
    	
    	验证：
    	ssh hdp01 
    	exit 
    	ssh hdp02 
    	exit
    	ssh hdp03 
    	exit 
    	8)安装jdk 
    	java -version 
    	1.8 
    	
    	9)时间同步
    		1）手动进行
    		date -s "时间"
    		2）和时间服务器同步
    		sudo ntpdate ntp1.aliyun.com
    		
    		ntp1.aliyun.com
    		ntp2.aliyun.com
    		ntp3.aliyun.com
    		ntp4.aliyun.com
    		ntp5.aliyun.com
    		ntp6.aliyun.com
    		ntp7.aliyun.com

###### 2)安装hadoop ######

只需要在一台机器配置完成  远程发送到其他节点
    	1）上传安装包
    	2）解压
    		tar -xvzf hadoop-2.7.6.tar.gz
    	3）配置环境变量
    		bin  hadoop的各种脚本
    		etc  配置文件
    		lib	 依赖包
    		sbin  执行命令脚本
    		share	hadoop中的公共资源
    		
    		sudo vi /etc/profile 
    		export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.6
    		export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    		
    		export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.7 
    		export  PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
    		export  PATH=${PATH}:${HADOOP_HOME}/sbin
    		生效环境变量
    		source /etc/profile
    		
    		
    		${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${JAVA_HOME}/bin:${PATH}
    		
    		检查hadoop的环境变量
    		hadoop version 
    	4)修改hadoop的配置文件
    		$HADOOP_HOME/etc/hadoop 
    		/home/hadoop/apps/hadoop-2.7.6/etc/hadoop
    		1)core-site.xml   common 
    			<configuration>  核心配置文件标签
    				<property>  	一个配置项
    					<name>key</name>
    					<value>value</value>
    				</property>
    			</configuration>
    			
    			<property>
    				
    				<name>fs.defaultFS</name>
    				<value>hdfs://hdp01:9000</value>
    			</property>
    
    			<property>
    				
    				<name>hadoop.tmp.dir</name>
    				<value>/home/hadoop/data/hadoopdata</value>
    			</property>
    
    		2)hdfs-site.xml   hdfs 
    			<property>
    				<name>dfs.namenode.name.dir</name>
    				<value>/home/hadoop/data/hadoopdata/name</value>
    				<description>namenode相关数据的存储目录</description>
    			</property>
    
    			<property>
    				<name>dfs.datanode.data.dir</name>
    				<value>/home/hadoop/data/hadoopdata/data</value>
    				<description>datanode相关数据的存储目录</description>
    			</property>
    
    			<property>
    				<name>dfs.replication</name>
    				<value>2</value>
    				<description>HDFS 的数据块的副本存储个数</description>
    			</property>
    
    			<property>
    				<name>dfs.secondary.http.address</name>
    				<value>hdp02:50090</value>
    				<description>secondarynamenode 运行节点的信息，和 namenode 不同节点</description>
    			</property>
    		
    		
    		3)mapred-site.xml  mapreduce
    			cp mapred-site.xml.template mapred-site.xml
    			vi mapred-site.xml 
    			<property>
    				
    				<name>mapreduce.framework.name</name>
    				<value>yarn</value>
    			</property>
    
    			 
    		
    		
    		4)yarn-site.xml   yarn 
    			vi yarn-site.xml 
    			<property>
    				
    				<name>yarn.resourcemanager.hostname</name>
    				<value>hdp03</value>
    			</property>
    
    			<property>
    				<name>yarn.nodemanager.aux-services</name>
    				<value>mapreduce_shuffle</value>
    				<description>YARN 集群为 MapReduce 程序提供的 shuffle 服务</description>
    			</property>
    		
    		
    		5)hadoop-env.sh    java环境变量
    			加载  /etc/profile  启动hadoop   hadoop-env.sh
    			export JAVA_HOME=${JAVA_HOME}
    			需要改
    			export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_73
    
    		6)slaves   从节点信息
    			datanode  nodemanager
    			datanode  和 nodemanager 节点相同的
    			
    			一行一个主机名   不要有多余的空格或换行
    			hdp01
    			hdp02
    			hdp03
    	5)将hadoop的安装包远程发送到其他节点
    	scp -r /home/hadoop/apps/hadoop-2.7.6 hdp01:/home/hadoop/apps/
    	scp -r /home/hadoop/apps/hadoop-2.7.6 hdp03:/home/hadoop/apps/
    	
    	6）远程发送hadoop的环境变量
    	sudo scp /etc/profile hdp01:/etc/
    	sudo scp /etc/profile hdp03:/etc/
    	
    	source /etc/profile
    	
    	7）格式化namenode 
    	在namenode节点上    hdp01 
    	hadoop namenode -format
    	
    	格式化成功的标志：
    	19/04/29 17:17:22 INFO common.Storage: Storage directory /home/hadoop/data/hadoopdata/name has been successfully formatted.
    	
    	一定要格式化成功
    	报错：修正报错  重新格式化
    	注意：成功的格式化只能一次
    	
    	8）启动 
    	启动hdfs  在任意节点执行即可  执行一次
    	start-dfs.sh    
    	
    	jps查看进程
    	web网页访问
    		namenode主机名或ip：50070
    		
    	启动yarn   最好在resourcemanager节点执行
    	start-yarn.sh 
    	
    	jps查看进程
    	web页面访问
    		resourcemanager主机名或ip：8088
    		
    	注意：启动  可能某一个节点启动不了   重启  
    		格式化成功才能启动了