1.环境搭建-Hadoop集群搭建

怼烎@ 2022-04-17 00:43 469阅读 0赞

本文主要是在CentOS集群基础上搭建Hadoop集群。  
【CentOS集群：node1,node2,node3 】  
【注：搭建hadoop集群的前提是三个节点都已经配置好了静态ip,虚拟机终端内运行vi /etc/sysconfig/network-scripts/ifcfg-eth0，配置ip,子网掩码，网关以及DNS域名解析，并且安装了JDK，如图】  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70]保存之后重启network:  
service network restart  
需要的jdk可从这里下载：  
链接：[https://pan.baidu.com/s/1\_Zr1xH7ciELht5qYu\_AOXw][https_pan.baidu.com_s_1_Zr1xH7ciELht5qYu_AOXw]  
提取码：duwh  
需要的hadoop安装包可从这里下载：  
链接：[https://pan.baidu.com/s/1X7kFactjj-iCAwy74sNkEg][https_pan.baidu.com_s_1X7kFactjj-iCAwy74sNkEg]  
提取码：qu3a

### 安装yum ###

列出所有可用的rpm包 “yum list “  
yum list |head -n 15  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 1]

###### 1.备份 ######

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

##### 2.下载新的CentOS-Base.repo 到/etc/yum.repos.d/ #####

CentOS 5  
wget -O /etc/yum.repos.d/CentOS-Base.repo [http://mirrors.aliyun.com/repo/Centos-5.repo][http_mirrors.aliyun.com_repo_Centos-5.repo]  
CentOS 6  
wget -O /etc/yum.repos.d/CentOS-Base.repo [http://mirrors.aliyun.com/repo/Centos-6.repo][http_mirrors.aliyun.com_repo_Centos-6.repo]  
CentOS 7  
wget -O /etc/yum.repos.d/CentOS-Base.repo [http://mirrors.aliyun.com/repo/Centos-7.repo][http_mirrors.aliyun.com_repo_Centos-7.repo]

##### 3.之后运行yum makecache生成缓存 #####

下载一个lrzsz,用于上传下载文件  
命令：yum -y install lrzsz  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 2]

### 配置ssh无密码访问 ###

在每个节点上分别执行：  
ssh-keygen -t rsa  
在主节点上执行：  
`cp id_rsa.pub authorized_keys`  
执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id\_rsa 和 id\_rsa.pub  
将子节点的公钥拷贝到主节点并添加进authorized\_keys  
将两个子节点的公钥拷贝到主节点上，分别在两个子节点上执行：  
`scp ~/.ssh/id_rsa.pub root@node1:~/.ssh/id_rsa_node2.pub`  
`scp ~/.ssh/id_rsa.pub root@node1:~/.ssh/id_rsa_node3.pub`  
然后在主节点上，将拷贝过来的两个公钥合并到authorized\_keys文件中去  
主节点上执行：  
`cat id_rsa_node2.pub>> authorized_keys`  
`cat id_rsa_node3.pub>> authorized_keys`

最后测试是否配置成功  
在node1上分别执行  
`ssh node2`  
`ssh node3`  
能正确跳转到两台子节点的操作界面即可

### 安装JDK ###

`rz上传jdk安装包`  
我这里放到了/opt/software/jdk/下  
`解压 tar -zxvf jdk-8u141-linux-x64.tar.gz`  
配置环境变量：vi /etc/profile  
`export JAVA_HOME=/opt/software/jdk/jdk1.8.0_141`

### 修改主机名和ip映射 ###

`vi /etc/hosts`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 3]

### 安装hadoop ###

上传hadoop安装包到/opt/software/hadoop/下【路径自由选择】  
`1.rz上传文件`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 4]这里是上传到了根目录下，我把它移动到/opt/software/hadoop/  
命令：mv hadoop-2.7.7.tar.gz /opt/software/hadoop/

### 解压 ###

`tar -zxvf hadoop-2.7.7.tar.gz`

### 设置环境变量 vi/opt/software/hadoop ###

`export HADOOP_HOME=/opt/software/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 5]

##### 使配置生效 #####

`source /etc/profile`

###### 测试jdk是否安装成功 ######

`java -version`  
![在这里插入图片描述][20181110154844548.png]

##### 修改配置文件 #####

去到hadoop目录下，$HADOOP\_HOME/etc/hadoop

##### 1.修改hadoop-env.sh文件 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 6]

##### 2.修改core-site.xml #####

` <property> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value> </property>  <property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property>`

##### 3.修改hdfs-site.xml #####

` <property> <name>dfs.replication</name> <value>1</value> </property>`

##### 4.修改mapred-site.xml 【这个不存在需要自己创建，命令如下：(mv mapred-site.xml.template mapred-site.xml)】 #####

` <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>`

##### 5.修改yarn-site.xml #####

` <property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> </property>  <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>`

##### 格式化namenode（是对namenode进行初始化） #####

`hdfs namenode -format`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 7]

###### 修改slaves ######

`node2 node3`  
node1是主节点，node2,node3是从节点  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 8]  
在另外两台虚拟机上搭建hadoop

未完。。。。。待续  
最近比较忙

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70]: /images/20220417/b125e7c2910d488188ad013e26d1da9b.png
[https_pan.baidu.com_s_1_Zr1xH7ciELht5qYu_AOXw]: https://pan.baidu.com/s/1_Zr1xH7ciELht5qYu_AOXw
[https_pan.baidu.com_s_1X7kFactjj-iCAwy74sNkEg]: https://pan.baidu.com/s/1X7kFactjj-iCAwy74sNkEg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 1]: /images/20220417/4c0fa87536404a7580f043977c1746d9.png
[http_mirrors.aliyun.com_repo_Centos-5.repo]: http://mirrors.aliyun.com/repo/Centos-5.repo
[http_mirrors.aliyun.com_repo_Centos-6.repo]: http://mirrors.aliyun.com/repo/Centos-6.repo
[http_mirrors.aliyun.com_repo_Centos-7.repo]: http://mirrors.aliyun.com/repo/Centos-7.repo
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 2]: /images/20220417/983342b8d5f34812a96f3a0567b5d563.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 3]: /images/20220417/2481eb7c91c148069ec95d6ebfa2896b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 4]: /images/20220417/538352a0c6b24290b9ec99cf30b7259e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 5]: /images/20220417/ddd18fa354cf403fb061a2ebf82e8847.png
[20181110154844548.png]: /images/20220417/ca07dbb1f4a341d8a5803e6b48919071.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 6]: /images/20220417/14b182cafa1e4d1b825a559bbb99681b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 7]: /images/20220417/09b4afd228e24ac1b9e38cd3a95fc159.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQwNzQx_size_16_color_FFFFFF_t_70 8]: /images/20220417/1b98273144054d97bf935134a66cd7b6.png