MapReduce3种运行方式

傷城~ 2022-05-19 14:12 382阅读 0赞

MapReduce运行 3 种方式：

一、本地方式运行：  
1、pc环境：  
    1.1、将Hadoop安装本地解压  
    1.2、配置Hadoop的环境变量  
        添加%HADOOP\_HOME%  
        修改%PATH%  添加%HADOOP\_HOME%/bin;%HADOOP\_HOME%/sbin  
    1.3、在解压的Hadoop的bin目录下 添加winutils.exe工具  
2、Java工程  
    2.1、jdk一定要使用自己的jdk、不要使用eclipse自带  
    2.2、根目录（src目录下），不要添加任何MapReduce的配置文件  hdfs-site.xml yarn-site.xml core-site.xml mapred-site.xml  
    2.3、在代码当中，通过conf.set方式来进行指定。conf.set("fs.defaultFS", "hdfs://node1:8020");  
    2.4、修改Hadoop源码 ，将NativeIO和YARNRunner两个类拷至项目下  org.apache.hadoop.io.nativeio.NativeIO中access方法 返回值改为空  
3、右键run执行

集群运行两种方式：  
二、  
    Java工程  
    1、根目录（src目录下），添加Hadoop的配置文件 hdfs-site.xml yarn-site.xml core-site.xml mapred-site.xml  
    2、在代码当中，指定jar包的位置，config.set("mapred.jar", "D:\\\\MR\\\\wc.jar");  
    3、修改Hadoop源码  
    4、将工程打jar包  
    5、右键run执行

三、  
    Java工程  
    1、根目录（src目录下），添加Hadoop的配置文件 hdfs-site.xml  yarn-site.xml core-site.xml mapred-site.xml  
    2、将工程打jar包  
    3、手动将jar包上传到集群当中  
    4、通过hadoop命令来运行。hadoop jar jar位置 mr代码入口 （例如：hadoop jar /usr/wc.jar com.sxt.mr.WcJob）

HBase运行：  
在代码当中指定HBase所使用的ZooKeeper集群。  
（注意：如果hbase搭建的是伪分布式，那么对应的ZooKeeper就是那台伪分布式的服务器）  
conf.set("hbase.zookeeper.quorum", "node1,node2,node3");

System.setProperty("HADOOP\_USER\_NAME", "root");