在centos7配置jdk+hadoop环境

迷南。 2022-09-29 15:47 147阅读 0赞

本次实验是在centos7上配置运行于vmware

1、安装jdk

（1）创建文件夹：`# mkdir /usr/java`（创建jdk的存放位置）

（2）解压 `tar -zxvf jdk的文件名 -C /usr/java/`

（3）将java添加到环境变量中

vim /etc/profile
    #在文件最后添加
    export JAVA_HOME=/usr/java/jdk1.7(安装文件的路径)
    export PATH=$PATH:$JAVA_HOME/bin

（4）\#刷新配置(该步必须进行，不然配置文件将不起作用)

source /etc/profile

（5）判断jdk是否安装成功`echo $JAVA_HOME`

2、配置Hadoop

（1）修改主机名以及ip地址(实验机器的ip地址为固定未修改)  
第一种方式通过Linux图形界面进行修改：  
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.8.118 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply  
第二种：修改配置文件方式

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
    BOOTPROTO="static" ###
    HWADDR="00:0C:29:3C:BF:E7"
    IPV6INIT="yes"
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    TYPE="Ethernet"
    UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
    IPADDR="192.168.8.118" ###
    NETMASK="255.255.255.0" ###
    GATEWAY="192.168.8.1"

（2）修改主机名与IP的映射关系

vim /etc/hosts

添加：192.168.8.118 itcast01

（3）重启centos `reboot`  
（4）重启后解压hadoop包  
首先在根目录创建一个目录itcast

mkdir /itcast

解压：

tar -zxvf hadoop-1.1.2.tar.gz -C /itcast/

（5）配置hadoop的配置文件  
第一个：hadoop-env.sh

vim hadoop-env.sh
    #第27行
    export JAVA_HOME=/usr/java/jdk1.7.0_65(jdk的安装位置)

第二个：core-site.xml

<property>
       <name>fs.defaultFS</name>
       <value>hdfs://itcast01:9000</value>
    </property>
    
    <property>
       <name>hadoop.tmp.dir</name>
       <value>/itcast/hadoop-2.4.1/tmp</value>
    </property>

第三个：hdfs-site.xml

<property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>

第四个：mapred-site.xml

先将文件改名：`mv mapred-site.xml.template mapred-site.xml`

打开后修改：

<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>

第五个：yarn-site.xml

<property>
       <name>yarn.resourcemanager.hostname</name>
       <value>itcast01</value>
    </property>
    
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>

（6）将hadoop添加到环境变量  
打开文件`vim /etc/proflie`(i 启用编辑)  
添加以下内容：

export JAVA_HOME=/usr/java/jdk1.7.0_65
    export HADOOP_HOME=/itcast/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使用ESC退出编辑 并使用：x保存文件

更新环境：

source /etc/profile

（7）格式化namenode

hdfs namenode -format

旧版本可以使用`hadoop namenode -format`

（8）启动hadoop

#先启动HDFS
    sbin/start-dfs.sh
    #再启动YARN
    sbin/start-yarn.sh

（9）验证是否启动成功  
可以使用jps命令验证

同时可以使用浏览器打开  
[http://192.168.8.118:50070][http_192.168.8.118_50070] （HDFS管理界面）  
[http://192.168.8.118:8088][http_192.168.8.118_8088] （MR管理界面）  
（10）配置ssh免登陆  
生成ssh免登陆密钥

#进入到我的home目录
    cd ~/.ssh

ssh-keygen -t rsa （需要四个回车）

执行完这个命令后，会生成两个文件id\_rsa（私钥）、id\_rsa.pub（公钥）  
将公钥拷贝到要免登陆的机器上

ssh-copy-id localhost

[http_192.168.8.118_50070]: http://192.168.8.118:50070
[http_192.168.8.118_8088]: http://192.168.8.118:8088