hadoop 一个Job多个MAP与REDUCE的执行

Myth丶恋晨 2022-03-12 03:24 296阅读 0赞

在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理，再进行reduce，经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理，这样的Job是不会保存中间结果的，并大大减少了I/O操作。

例如：在一个Job中，按顺序执行 MAP1->MAP2->REDUCE->MAP3->MAP4 在这种链式结构中，要将MAP2与REDUCE看成这个MAPREDUCE的核心部分(就像是单个中的MAP与REDUCE)，并且partitioning与shuffling在此处才会被应用到。所以MAP1作为前期处理，而MAP3与MAP4作为后期处理。

**\[java\]** [ view plain][view plain] [copy][view plain] [print][view plain] [?][view plain]

1.  Configuration conf = getConf();  
2.  JobConf job = new JobConf(conf);  
3.    
4.    
5.  job.setJobName(“ChainJob”);  
6.  job.setInputFormat(TextInputFormat.class);  
7.  job.setOutputFormat(TextOutputFormat.class);  
8.    
9.    
10. FileInputFormat.setInputPaths(job, in);  
11. FileOutputFormat.setOutputPath(job, out);  
12.   
13.   
14. JobConf map1Conf = new JobConf(false);  
15.   
16. ChainMapper.addMapp(job,  
17.                     Map1.class,  
18.                     LongWritable.class,   
19.                     Text.class,  
20.                     Text.class,  
21.                     Text.class,  
22.                     true,  
23.                     map1Conf);  
24.   
25. //将map1加入到Job中   
26.   
27.   
28. JobConf map2Conf = new JobConf(false);  
29. ChainMapper.addMapper(job,  
30.                       BMap.class,  
31.                       Text.class,  
32.                       Text.class,   
33.                       LongWritable.class,  
34.                       Text.class,  
35.                       true,  
36.                       map2Conf);  
37.   
38. /将map2加入到Job中  
39.   
40.   
41.    
42.   
43.   
44. JobConf reduceConf = new JobConf(false);  
45. ChainReducer.setReducer(job,  
46.                         Reduce.class,  
47.                         LongWritable.class,  
48.                         Text.class,  
49.                         Text.class,  
50.                         Text.class,  
51.                         true,  
52.                         reduceConf);  
53.   
54. /将reduce加入到Job中  
55.   
56.   
57.    
58.   
59.   
60. JobConf map3Conf = new JobConf(false);  
61. ChainReducer.addMapper(job,  
62.                        Map3.class,  
63.                        Text.class,  
64.                        Text.class,  
65.                        LongWritable.class,   
66.                        Text.class,  
67.                        true,  
68.                        map3Conf);  
69.   
70. /将map3加入到Job中  
71.   
72.   
73.   
74. JobConf map4Conf = new JobConf(false);  
75. ChainReducer.addMapper(job,  
76.                        Map4.class,  
77.                        LongWritable.class,  
78.                        Text.class,   
79.                        LongWritable.class,  
80.                        Text.class,  
81.                        true,  
82.                        map4Conf);  
83.   
84. //将map4加入到Job中   
85.   
86. JobClient.runJob(job);  
87.   
88. 注：上一个的输出是一下的输入，所以上一个的输出数据类型必须与下一个输入的数据类型一样  
89.   
90.

Configuration conf = getConf(); JobConf job = new JobConf(conf); job.setJobName(“ChainJob”); job.setInputFormat(TextInputFormat.class); job.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(job, in); FileOutputFormat.setOutputPath(job, out); JobConf map1Conf = new JobConf(false); ChainMapper.addMapp(job, Map1.class, LongWritable.class, Text.class, Text.class, Text.class, true, map1Conf); //将map1加入到Job中 JobConf map2Conf = new JobConf(false); ChainMapper.addMapper(job, BMap.class, Text.class, Text.class, LongWritable.class, Text.class, true, map2Conf); /将map2加入到Job中 JobConf reduceConf = new JobConf(false); ChainReducer.setReducer(job, Reduce.class, LongWritable.class, Text.class, Text.class, Text.class, true, reduceConf); /将reduce加入到Job中 JobConf map3Conf = new JobConf(false); ChainReducer.addMapper(job, Map3.class, Text.class, Text.class, LongWritable.class, Text.class, true, map3Conf); /将map3加入到Job中 JobConf map4Conf = new JobConf(false); ChainReducer.addMapper(job, Map4.class, LongWritable.class, Text.class, LongWritable.class, Text.class, true, map4Conf); //将map4加入到Job中 JobClient.runJob(job); 注：上一个的输出是一下的输入，所以上一个的输出数据类型必须与下一个输入的数据类型一样

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

addMapper中的参数

public static <K1,V1,K2,V2> void  
addMapper(JobConf job,  
                    Class<? extends Mapper<K1,V1,K2,V2>> klass,  
                    Class<? extends K1> inputKeyClass,  
                    Class<? extends V1> inputValueClass,  
                    Class<? extends K2> outputKeyClass,  
                    Class<? extends V2> outputValueClass,  
                    boolean byValue,  
                    JobConf mapperConf)

[view plain]: http://blog.csdn.net/chaoping315/article/details/6221440#

发表评论取消回复

表情：

评论列表（有 0 条评论，296人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop-倒排索引即多Job串行执行

倒排索引（多Job串联）目的：有多个文本，需要建立搜索索引数据输入： hulaoguan.txt wei caocao wei xiah

朱雀/ 2022年10月19日 04:24/ 0 赞/ 93 阅读

相关 Hadoop Map/Reduce教程

Hadoop Map/Reduce教程 [目的][Link 1] [先决条件][Link 2] [概述][Link 3] [输入与输出][Link

超、凢脫俗/ 2022年09月18日 15:52/ 0 赞/ 188 阅读

相关远程调用执行Hadoop Map/Reduce

[远程调用执行Hadoop Map/Reduce][Hadoop Map_Reduce] 在Web项目中，由用户下发任务后，后台服务器远程调用Jo

港控/mmm°/ 2022年09月17日 11:27/ 0 赞/ 210 阅读

相关 Hadoop中Reduce任务的执行框架

在前面的一系列文章中我主要围绕Hadoop对Map任务执行框架的设计与实现展开了详细的讨论，记得在博文[Hadoop中Map任务的执行框架][Hadoop_Map]中

秒速五厘米/ 2022年06月17日 14:17/ 0 赞/ 181 阅读

相关 Job的任务执行流程之Reduce阶段

JobTracker节点在给每一个TaskTracker节点分配作业的Map/Reduce任务时，可能会根据该TaskTracker节点的实际情况分配多个Map任务，

野性酷女/ 2022年06月13日 08:14/ 0 赞/ 273 阅读

相关 Hadoop MapReduce执行过程详解及MR中job参数及设置map和reduce的个数（带hadoop例子）

Hadoop MapReduce执行过程详解（带hadoop例子） 1.MapReduce是如何执行任务的？ 2.Mapper任务是怎样的一个过程？ 3.Reduce是如

超、凢脫俗/ 2022年05月31日 01:51/ 0 赞/ 292 阅读

相关 map-reduce（job提交过程，远程调试)

1. mapreduce 的job远程调试 2. mapreduce的job提交、运行过程 -------------------- part1: mapreduc

亦凉/ 2022年05月10日 01:44/ 0 赞/ 204 阅读

相关 Map/Reduce执行流程

\[b\]\[color=green\]\[size=large\]FileSplit:文件的子集--文件分割体简介：这篇文档描述在hadoop中map和re

布满荆棘的人生/ 2022年04月21日 18:58/ 0 赞/ 244 阅读

相关 hadoop 一个Job多个MAP与REDUCE的执行

在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理，再进行reduce，经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理，

Myth丶恋晨/ 2022年03月12日 03:24/ 0 赞/ 297 阅读

相关 hadoop之参数mapreduce.job.reduce.slowstart.completedmaps

大家在执行 hive sql 走mr引擎时有没有发现日志打印信息， map 还没到100% reduce 就开始了。这是由于`mapred-site.xml`配置文件中有

心已赠人/ 2021年09月25日 09:48/ 0 赞/ 309 阅读