Hadoop2.7.3 mapreduce（一）原理及"hello world"实例

妖狐艹你老母 2022-05-26 08:49 182阅读 0赞

MapReduce编程模型

【1】先对输入的信息进行切片处理。

【2】每个map函数对所划分的数据并行处理，产生不同的中间结果输出。

【3】对map的中间结果数据进行收集整理（aggregate & shuffle）处理，交给reduce。

【4】reduce进行计算最终结果。

【5】汇总所有reduce的输出结果。

![SouthEast][]

![SouthEast 1][]

【名词解释】

ResourceManager：是YARN资源控制框架的中心模块，负责集群中所有的资源的统一管理和分配。它接收来自NM(NodeManager)的汇报，建立AM，并将资源派送给AM(ApplicationMaster)。  
  
NodeManager：简称NM，NodeManager是ResourceManager在每台机器的上代理，负责容器的管理，并监控他们的资源使用情况（cpu，内存，磁盘及网络等），以及向 ResourceManager提供这些资源使用报告。  
  
ApplicationMaster：以下简称AM。YARN中每个应用都会启动一个AM，负责向RM申请资源，请求NM启动container，并告诉container做什么事情。  
  
Container：资源容器。YARN中所有的应用都是在container之上运行的。AM也是在container上运行的，不过AM的container是RM申请的。

【用Java来实现WordCount单词计数的功能】

\[java\]  [view plain][]   [copy][view plain]

1.  **package** com.yc.hadoop42\_003\_mapreduce;  
2.    
3.  **import** java.io.IOException;  
4.    
5.  **import** org.apache.hadoop.conf.Configuration;  
6.  **import** org.apache.hadoop.fs.Path;  
7.  **import** org.apache.hadoop.io.IntWritable;  
8.  **import** org.apache.hadoop.io.LongWritable;  
9.  **import** org.apache.hadoop.io.Text;  
10. **import** org.apache.hadoop.mapreduce.Job;  
11. **import** org.apache.hadoop.mapreduce.Mapper;  
12. **import** org.apache.hadoop.mapreduce.Reducer;  
13. **import** org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
14. **import** org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
15.   
16. **public** **class** MyWordCount \{  
17.   
18.         //Mapper静态内部类  
19.     **public** **static** **class** MyWordCountMapper **extends** Mapper<LongWritable, Text, Text, IntWritable> \{  
20.   
21.         **public** **static** **final** IntWritable ONE = **new** IntWritable(1);  
22.   
23.         @Override  
24.         **protected** **void** map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context)  
25.                 **throws** IOException, InterruptedException \{  
26.             //按空格分割，map默认的value是每一行  
27.             String\[\] words = value.toString().split("\\\\s");  
28.   
29.             **for** (String word : words) \{  
30.                 context.write(**new** Text(word), ONE);  
31.             \}  
32.         \}  
33.     \}  
34.   
35.         //Reducer静态内部类  
36.     **public** **static** **class** MyWordCountReducer **extends** Reducer<Text, IntWritable, Text, IntWritable> \{  
37.   
38.         @Override  
39.         **protected** **void** reduce(Text key, Iterable<IntWritable> value,  
40.                 Reducer<Text, IntWritable, Text, IntWritable>.Context context)  
41.                 **throws** IOException, InterruptedException \{  
42.             **int** count = 0;  
43.             **for** (IntWritable v : value) \{  
44.                 count += v.get(); // 统计单词个数  
45.             \}  
46.             context.write(**new** Text(key), **new** IntWritable(count));  
47.         \}  
48.     \}  
49.   
50.     **public** **static** **void** main(String\[\] args) **throws** Exception \{  
51.   
52.         Configuration conf = **new** Configuration(); // 配置文件对象  
53.         Job job = Job.getInstance(conf, "mywordCount"); // mapreduce作业对象  
54.   
55.         // 设置map操作  
56.         job.setMapperClass(MyWordCountMapper.**class**);    //设置map处理类  
57.         job.setMapOutputKeyClass(Text.**class**);   //设置拆分后，输出数据key的类型  
58.         job.setMapOutputValueClass(IntWritable.**class**);  //设置拆分后，输入数据value的类型  
59.   
60.         // 设置reduce操作  
61.         job.setReducerClass(MyWordCountReducer.**class**);  //设置reduce处理类   
62.                         //这里reduce输入输出格式一致，不需要再次设置  
63.   
64.         // 设置输入输出  
65.         FileInputFormat.setInputPaths(job, **new** Path("hdfs://master:9000/in/data03.txt"));// 设置处理数据文件的位置  
66.         FileOutputFormat.setOutputPath(job, **new** Path("hdfs://master:9000/result"));// 设置处理后文件的存放位置  
67.   
68.         // 开始执行mapreduce作业  
69.         job.waitForCompletion(**true**);  
70.     \}  
71. \}

【结果】

![SouthEast 2][]

[SouthEast]: /images/20220526/7619b0017fcf47edb35a5913d0ca1165.png
[SouthEast 1]: /images/20220526/e53ebb2c5c7446bca98505678ced5d38.png
[view plain]: https://blog.csdn.net/arnold_lee_yc/article/details/75206199#
[SouthEast 2]: /images/20220526/a22a5ebcc39748d098000d7b8a84a822.png