Linux下安装hadoop

柔情只为你懂 2022-05-26 01:18 262阅读 0赞

1、安装Linux、JDK  
2、配置主机名  
3、安装目录：/root/hadoop  
  
  
安装：  
1、解压 : tar -zxvf hadoop-2.4.1.tar.gz -C /root/hadoop/  
2、设置环境变量： vi ~/.bash\_profile  
HADOOP\_HOME=/root/hadoop/hadoop-2.4.1  
export HADOOP\_HOME  
  
  
PATH=$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin:$PATH  
export PATH  
  
生效环境变量： source ~/.bash\_profile  
  
  
第一节：Hadoop的目录结构  
  
  
第二节：Hadoop的本地模式  
1、特点：不具备HDFS，只能测试MapReduce程序  
2、修改hadoop-env.sh  
  
   修改第27行：export JAVA\_HOME=/root/hadoop/jdk1.7.0\_75  
     
3、演示Demo: $HADOOP\_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar  
命令：hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /root/data/input/data.txt  /root/data/output/wc  
日志：17/08/04 23:28:38 INFO mapreduce.Job:  map 100% reduce 100%  
  
注意：MR有一个默认的排序规则  
  
  
第三节：Hadoop的伪分布模式  
1、特点：具备Hadoop的所有功能，在单机上模拟一个分布式的环境  
         （1）HDFS：主：NameNode，数据节点：DataNode  
 （2）Yarn：容器，运行MapReduce程序  
            主节点：ResourceManager  
从节点：NodeManager  
  
2、步骤：  
（1）hdfs-site.xml  
  
<property>  
  <name>dfs.replication</name>  
  <value>1</value>  
</property>  
  
  
  
<property>  
  <name>dfs.permissions</name>  
  <value>false</value>  
</property>   
  
  
（2）core-site.xml  
  
<property>  
  <name>fs.defaultFS</name>  
  <value>hdfs://127.0.0.1:9000</value>  
</property>  
  
  
  
<property>  
  <name>hadoop.tmp.dir</name>  
  <value>/root/hadoop/hadoop-2.4.1/tmp</value>  
</property>   
  
  
(3) mapred-site.xml  
  
<property>  
  <name>mapreduce.framework.name</name>  
  <value>yarn</value>  
</property>   
  
(4) yarn-site.xml  
  
<property>  
  <name>yarn.resourcemanager.hostname</name>  
  <value>127.0.0.1</value>  
</property>  
  
  
  
<property>  
  <name>yarn.nodemanager.aux-services</name>  
  <value>mapreduce\_shuffle</value>  
</property>   
  
(5) 格式化NameNode  
    hdfs namenode -format  
日志：Storage directory /root/hadoop/hadoop-2.4.1/tmp/dfs/name has been successfully formatted.  
  
  
(6) 启动：start-all.sh  
           (\*) HDFS: 存储数据  
   (\*) Yarn：执行计算  
     
(7) 访问：（\*）命令行  
          （\*）Java API  
  （\*）Web Console：  
HDFS：http://127.0.0.1:50070  
Yarn：http://127.0.0.1:8088