编写一键安装伪分布式Hadoop的脚本

淩亂°似流年 2022-08-20 12:30 172阅读 0赞

学校开设了Hadoop这门课程，第一次上课就是在本机上安装一个伪分布式的Hadoop。班上大多数同学由于之前没有使用过linux系统(安装hadoop他们也是在虚拟机中进行)在安装的过程中出现了各种各样的问题不知道怎么解决。索性我也闲着无聊，就编写了一个一键安装伪分布式Hadoop的shell脚本让同学们使用，让同学在自己的linux系统上运行此脚本即完成安装。

**准备资源:**

>  *  jdk1.7 虽然linux自带了openjdk，但个人还是习惯使用oracle的
>  *  hadoop2.7.tar.gz 在Apache上下载
>  *  两个包准备好之后,mkdir all 创建一个all的空文件夹，然后把上面两个tar.gz包仍进去。执行 tar -zcvf all.tar.gz all 把all文件夹压缩成all.tar.gz

**编写执行安装hadoop过程的一个shell**   
install\_hadoop.

#!/bin/bash
    size=0
    #最终生成的文件名为install_hadoop.bin而我们的all.tar.gz被>>到该文件后面
    tail -c $size  install_hadoop.bin >all.tar.gz
    tar -zxf all.tar.gz
    cd all
    echo "正在安装.请稍等..."
    mkdir /usr/local/hadoop
    mkdir /usr/local/JDK
    tar -zxf hadoop-2.7.0.tar.gz  -C /usr/local/hadoop
    tar -zxf jdk-7u79-linux-x64.tar.gz  -C /usr/local/JDK
    #设置环境变量
    echo export JAVA_HOME=/usr/local/JDK/jdk1.7.0_79 >>/etc/profile
    echo export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.0 >> /etc/profile
    echo export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.0/bin:/usr/local/hadoop/hadoop-2.7.0/sbin:/usr/local/JDK/jdk1.7.0_79/bin >> /etc/profile
    #使得环境变量生效
    source /etc/profile
    #设置本机免密码登录
    (echo -e "\n"
    sleep 1
    echo -e "\n"
    sleep 1
    echo -e "\n")|ssh-keygen -t rsa
    cat  ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 700  ~/.ssh
    chmod 600  ~/.ssh/authorized_keys
    #通过强大的sed命令来修改hadoop的配置文件
    sed -i "s/\${
        JAVA_HOME}/\/usr\/local\/JDK\/jdk1.7.0_79/g"  /usr/local/hadoop/hadoop-2.7.0/etc/hadoop/hadoop-env.sh
    sed -i '/<configuration>/a\<property\>\n\<name\>fs.default.name\<\/name\>\n\<value\>hdfs://localhost:9000\<\/value\>\n\<\/property\>\n\<property\>\n\<name\>hadoop.tmp.dir\<\/name\>\n\<value\>\/home\/hadoop\/tmp\<\/value\>\n\</property\>'  /usr/local/hadoop/hadoop-2.7.0/etc/hadoop/core-site.xml
    sed -i '/\<configuration\>/a\<property\>\n\<name\>mapred.job.tracker\</name\>\n\<value\>localhost:9001\</value\>\</property\>'  /usr/local/hadoop/hadoop-2.7.0/etc/hadoop/mapred-site.xml.template
    sed -i '/<configuration>/a\n\<property\>\n\<name\>dfs.replication\</name\>\n\<value\>1\</value\>\n\</property\>'   /usr/local/hadoop/hadoop-2.7.0/etc/hadoop/hdfs-site.xml
    echo "hadoop安装完成,开始格式化。。。"
    #格式化hadoop
    hadoop namenode -format
    echo "格式化完成..开始运行"
    #启动
    start-all.sh
    exit

如上是完成hadoop安装的shell脚本，但我们还需要一个脚本来将all.tar.gz文件追加到一个最终的脚本中。

mkinstall\_hadoop.sh:

#!/bin/bash
    #通过gawk命令截取出all.tar.gz的大小
    size=`ls -all | grep all.tar.gz | gawk '{print $5}'`
    #生成一个install_hadoop.bin文件，文件内容和上一个脚本一模一样。只是改一定些东西
    cp install_hadoop.sh  install_hadoop.bin
    #把all.tar.gz文件追加进去
    cat all.tar.gz >>install_hadoop.bin
    #通过sed -i 修改上面定义的size。因为我们要从最终的文件截取size大小出来
    #所以这个size大小就是我们all.tar.gz的大小
    sed -i "s/size=0/size=$size/g"  install_hadoop.bin

最终运行一下mkinstall\_hadoop.sh。就会在生成一个install\_hadoop.bin文件。把这个文件复制到同学的linux电脑上运行之后就安装成功hadoop。