Hadoop MapReduce通过 MRUnit测试框架测试

太过爱你忘了你带给我的痛 2023-06-20 12:57 7阅读 0赞

1.  引入MRUnit测试框架: pom.xml:

<dependency>
    			<groupId>org.apache.mrunit</groupId>
    			<artifactId>mrunit</artifactId>
    			<version>0.9.0-incubating</version>
    			<classifier>hadoop2</classifier>
    			<scope>test</scope>
    		</dependency>

2.编写测试类

public class TestReducer { 
    
    	// 用于测试Reduce
    
    	@Test
    	public void TestMethod() { 
    
    		ReduceDriver<Text, IntWritable, Text, IntWritable> reduceDriver = new ReduceDriver<Text, IntWritable, Text, IntWritable>();
    		
    		//设置要测试对像
    		reduceDriver.withReducer(new MaxReduce());
    		
    		// 设置测试的key=1950
    		reduceDriver.withInputKey(new Text("1950"));
    		
    		// 设置测试的values=[ 10,13,0]
    		reduceDriver.withInputValues(Arrays.asList(new IntWritable(10), new IntWritable(13), new IntWritable(0)));
    		
    		//设置预期输出结果
    		reduceDriver.withOutput(new Text("1950"), new IntWritable(134));
    		
    		//执行测试
    		reduceDriver.runTest();
    
    	}
    
    }
    //要测试的程序
    class MaxReduce extends Reducer<Text, IntWritable, Text, IntWritable> { 
    
    	@Override
    	protected void reduce(Text key, Iterable<IntWritable> values,
    			Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException { 
    		int maxValue = Integer.MIN_VALUE;
    
    		for (IntWritable value : values) { 
    			maxValue = Math.max(maxValue, value.get());
    		}
    
    		context.write(key, new IntWritable(maxValue));
    
    	}
    
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，7人围观）

还没有评论，来说两句吧...

相关阅读

相关 hdfs&mapreduce测试

hdfs测试：使用jps命令是可以检查进程有没有启动： ![1496987-20190902143840382-208226145.png][]

快来打我*/ 2023年08月17日 16:14/ 0 赞/ 47 阅读

相关 Hadoop MapReduce通过 MRUnit测试框架测试

1. 引入MRUnit测试框架: pom.xml: <!-- https://mvnrepository.com/artifact/org.apache.mruni

太过爱你忘了你带给我的痛/ 2023年06月20日 12:57/ 0 赞/ 8 阅读

相关 Hadoop-MapReduce框架原理

MapReduce框架原理 InputFormat数据输入切片与MapTask并行度决定机制 MapTask 的并行度决定 Map 阶段的任务处理并发度,进

╰半夏微凉°/ 2022年10月13日 05:25/ 0 赞/ 297 阅读

相关 Hadoop MapReduce并行编程框架

Hadoop MapReduce 是Google MapReduce的一个开源实现。 1、MapReduce并行编程抽象模型 ① 面向大规模数据处理，MapReduce 采

深藏阁楼爱情的钟/ 2022年07月24日 12:12/ 0 赞/ 348 阅读

相关 Hadoop 安装测试

Hadoop 安裝測試：nn处于安全模式，执行命令hadoop dfsadmin-safemode leave 有两个方法离开这种安全模式（1）修改dfs.safemo

我会带着你远行/ 2022年07月12日 04:19/ 0 赞/ 192 阅读

相关初始hadoop的mapreduce框架

mapreduce是一个集成框架，这个继承框架是处理海量数据的并且是一个分布式的，就是有多个及其共同组成了同一个集群来提供服务。 mapreduce是一个用于处理海量数据的分

梦里梦外;/ 2022年06月06日 05:47/ 0 赞/ 215 阅读

相关 SSM框架整合（已测试通过）

SSM框架整合步骤（Spring+SpringMVC+MyBatis）基本参见：[https://blog.csdn.net/qq\_38844326/article/d

小鱼儿/ 2022年05月28日 02:16/ 0 赞/ 224 阅读

相关 Hadoop——测试代码

1、本地测试代码 class WCMap extends Mapper<LongWritable, Text, Text, IntWritable>\{ /\\

àì夳堔傛蜴生んèń/ 2022年05月26日 02:00/ 0 赞/ 143 阅读

相关 Hadoop MapReduce框架

参考资料： hadoop 学习笔记：mapreduce框架详解：www.cnblogs.com/sharpxiajun/p/3151395.html MR框架结构：http

布满荆棘的人生/ 2022年05月21日 04:07/ 0 赞/ 268 阅读

相关 Hadoop框架之MapReduce(一) : MapReduce概述

MapReduce概述 1. 什么是MapReduce呢 ? MapReduce是一个"基于Hadoop的数据应用分析"核心框架,它是一个分布式运

小鱼儿/ 2021年05月12日 11:55/ 0 赞/ 674 阅读