Hadoop入门进阶步步高（四）-测试Hadoop

淩亂°似流年 2022-08-23 14:52 177阅读 0赞

# 四、测试Hadoop #

一个简单的求每年温度最大值的程序。

## 1、准备两个文本测试数据 ##

准备两个名为data1.txt及data2.txt的文件，用于做为计算的输入数据，将其放于/home/fenglibin/java/data目录下：

每行有两列，分别表示年份和温度。

## 2、准备JAVA代码 ##

该代码来自于《Hadoop权威指南（第二版）》，如下：

<table> 
 <tbody> 
 <tr> 
 <td>package&nbsp;hadoop;&nbsp;import&nbsp;java.io.IOException;&nbsp;import&nbsp;org.apache.hadoop.fs.Path;import&nbsp;org.apache.hadoop.io.IntWritable;import&nbsp;org.apache.hadoop.io.LongWritable;import&nbsp;org.apache.hadoop.io.Text;import&nbsp;org.apache.hadoop.mapreduce.Job;import&nbsp;org.apache.hadoop.mapreduce.Mapper;import&nbsp;org.apache.hadoop.mapreduce.Reducer;import&nbsp;org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import&nbsp;org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;&nbsp;public&nbsp;class&nbsp;MaxTemperature&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;static&nbsp;class&nbsp;MaxTemperatureMapper&nbsp;extends&nbsp;Mapper&lt;LongWritable,&nbsp;Text,&nbsp;Text,&nbsp;IntWritable&gt;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;@Override&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;public&nbsp;void&nbsp;map(LongWritable&nbsp;key,&nbsp;Text&nbsp;value,&nbsp;Context&nbsp;context)&nbsp;throws&nbsp;IOException,&nbsp;InterruptedException&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;String&nbsp;line&nbsp;=&nbsp;value.toString();&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(line&nbsp;==&nbsp;null&nbsp;||&nbsp;line.trim().equals(""))&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;String[]&nbsp;arr&nbsp;=&nbsp;line.split("&nbsp;");&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;String&nbsp;year&nbsp;=&nbsp;arr[0];&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;int&nbsp;airTemperature&nbsp;=&nbsp;Integer.parseInt(arr[1]);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;context.write(new&nbsp;Text(year),&nbsp;new&nbsp;IntWritable(airTemperature));&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;static&nbsp;class&nbsp;MaxTemperatureReducer&nbsp;extends&nbsp;Reducer&lt;Text,&nbsp;IntWritable,&nbsp;Text,&nbsp;IntWritable&gt;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;@Override&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;public&nbsp;void&nbsp;reduce(Text&nbsp;key,&nbsp;Iterable&lt;IntWritable&gt;&nbsp;values,&nbsp;Context&nbsp;context)&nbsp;throws&nbsp;IOException,&nbsp;InterruptedException&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;int&nbsp;maxValue&nbsp;=&nbsp;Integer.MIN_VALUE;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;for&nbsp;(IntWritable&nbsp;value&nbsp;:&nbsp;values)&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;maxValue&nbsp;=&nbsp;Math.max(maxValue,&nbsp;value.get());&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;context.write(key,&nbsp;new&nbsp;IntWritable(maxValue));&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;public&nbsp;static&nbsp;void&nbsp;main(String[]&nbsp;args)&nbsp;throws&nbsp;IOException,&nbsp;InterruptedException,&nbsp;ClassNotFoundException&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Job&nbsp;job&nbsp;=&nbsp;new&nbsp;Job();&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;job.setJarByClass(MaxTemperature.class);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;FileInputFormat.addInputPath(job,&nbsp;new&nbsp;Path(args[0]));&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;FileOutputFormat.setOutputPath(job,&nbsp;new&nbsp;Path(args[1]));&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;job.setMapperClass(MaxTemperatureMapper.class);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;job.setReducerClass(MaxTemperatureReducer.class);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;job.setOutputKeyClass(Text.class);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;job.setOutputValueClass(IntWritable.class);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;System.exit(job.waitForCompletion(true)&nbsp;?&nbsp;0&nbsp;:&nbsp;1);&nbsp;&nbsp;&nbsp;&nbsp;}}</td> 
 </tr> 
 </tbody> 
</table>

## 3、编译 ##

<table> 
 <tbody> 
 <tr> 
 <td>javac&nbsp;-cp&nbsp;$HADOOP_HOME/hadoop-core-1.2.1.jar&nbsp;hadoop/MaxTemperature.java</td> 
 </tr> 
 </tbody> 
</table>

## 4、执行 ##

执行的方式有两种，直接通过java命令和$HADOOP\_HOME/bin/hadoop命令，不过不同的执行方式有一定的区别。

### 4.1、通过java命令执行 ###

有如下特点：

1）、指定本地的输入文件；

2）、将结果输出到本地；

3）、需要指定依赖的一长串classpath；

4）、只需要启动map/reduce即可，不需要启动namenode及datanode；

5）、需要在class所在目录执行，因而不需要指定HADOOP\_CLASSPATH。

执行如下：

<table> 
 <tbody> 
 <tr> 
 <td>java&nbsp;-Xmx256m&nbsp;-Xms256m&nbsp;-XX:PermSize=128m&nbsp;-cp&nbsp;$HADOOP_HOME:.:$HADOOP_HOME/hadoop-core-1.2.1.jar:$HADOOP_HOME/hadoop-tools-1.2.1.jar:$HADOOP_HOME/hadoop-ant-1.2.1.jar:$HADOOP_HOME/hadoop-client-1.2.1.jar:$HADOOP_HOME/hadoop-minicluster-1.2.1.jar:$HADOOP_HOME/lib/commons-logging-1.1.1.jar:$HADOOP_HOME/lib/commons-logging-api-1.0.4.jar:$HADOOP_HOME/lib/commons-configuration-1.6.jar:$HADOOP_HOME/lib/commons-lang-2.4.jar:$HADOOP_HOME/lib/jackson-core-asl-1.8.8.jar:$HADOOP_HOME/lib/jackson-mapper-asl-1.8.8.jar:$HADOOP_HOME/lib/commons-httpclient-3.0.1.jar&nbsp;hadoop/MaxTemperature&nbsp;/home/fenglibin/java/data/&nbsp;/home/fenglibin/java/result/</td> 
 </tr> 
 </tbody> 
</table>

### 4.2、通过hadoop命令执行 ###

有如下特点：

1）、输入文件必须放到hdfs上；

2）、输出结果在hdfs上；

3）、需要设置HADOOP\_CLASSPATH，但不是绝对；

4）、需要将class文件打成jar包。

HADOOP\_CLASSPATH是用于添加用户的jar，hadoop在执行的时候会将其追加到hadoop本身的classpath中。Hadoop在启动的时候，会将$HADOOP\_HOME/lib目录下面的jar全部加到classpath中，如果想偷懒不设置HADOOP\_CLASSPATH，可以将你的jar包放到$HADOOP\_HOME/lib中。

4.2.1、将class文件打成jar包

首先需要创建一个mainfest.mf，放在与要打包的class相同的目录中，里面写上内容：

<table> 
 <tbody> 
 <tr> 
 <td>Main-Class:&nbsp;hadoop.MaxTemperature&nbsp;</td> 
 </tr> 
 </tbody> 
</table>

然后通过如下命令进行打包：

<table> 
 <tbody> 
 <tr> 
 <td>jar&nbsp;cvfm&nbsp;maxTemperature.jar&nbsp;mainfest.mf&nbsp;-c&nbsp;hadoop/</td> 
 </tr> 
 </tbody> 
</table>

4.2.2、设置HADOOP\_CLASSPATH

如此时maxTe mperature.jar放在/home/fenglibin/java目录下，此时设置HADOOP\_CLASSPATH如下：

<table> 
 <tbody> 
 <tr> 
 <td>export&nbsp;HADOOP_CLASSPATH=/home/fenglibin/java/maxTemperature.jar</td> 
 </tr> 
 </tbody> 
</table>

4.2.3、拷贝本地文件到HDFS

<table> 
 <tbody> 
 <tr> 
 <td>hdfs&nbsp;-copyFromLocal&nbsp;data&nbsp;~/java</td> 
 </tr> 
 </tbody> 
</table>

注：hdfs是我本地的“hadoop fs”的alias，目录“~/java”是hdfs中的目录。

查看是否拷贝成功：

结果如下：

<table> 
 <tbody> 
 <tr> 
 <td>fenglibin@ubuntu1110:~/java$&nbsp;hdfs&nbsp;-ls&nbsp;~/javaWarning:&nbsp;$HADOOP_HOME&nbsp;is&nbsp;deprecated.&nbsp;Found&nbsp;1&nbsp;itemsdrwxr-xr-x&nbsp;&nbsp;&nbsp;-&nbsp;fenglibin&nbsp;supergroup&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;2013-12-25&nbsp;14:33&nbsp;/home/fenglibin/java/data&nbsp;</td> 
 </tr> 
 </tbody> 
</table>

文件已经存在，表示拷贝成功。

4.2.4、执行

Jar的mainfest.mf中标识了Main-Class是hadoop/MaxTemperature是主类，因而我们可以有两种执行方式，直接执行类hadoop/MaxTemperature或者直接执行jar。

1）、直接执行类hadoop/MaxTemperature

<table> 
 <tbody> 
 <tr> 
 <td>hadoop&nbsp;hadoop/MaxTemperature&nbsp;~/java/data&nbsp;~/java/result1</td> 
 </tr> 
 </tbody> 
</table>

2）、直接执行jar包

<table> 
 <tbody> 
 <tr> 
 <td>hadoop&nbsp;jar&nbsp;/home/fenglibin/java/maxTemperature.jar&nbsp;~/java/data&nbsp;~/java/result2</td> 
 </tr> 
 </tbody> 
</table>

虽然这种方式是执行jar包，其实也是调用类hadoop/MaxTemperature执行，只是入口不一样而已。

4.2.5 查看结果

以上两种方式执行的计算结果是相同的，结果文件有一些不同，结果的存放位置不同，通过JAVA直接执行的结果是存放在本地的，通过Hadoop执行的结果是放到Hdfs上的。

下面的截图是通过JAVA执行后，在/home/fenglibin/java/result/下面生成四个文件：

![Center][]

其中两个.crc文件是隐藏，是用于CRC校验的，我们不需要关心；

\_SUCCESS是一个空文件，只是用于表示当前操作执行成功；

part\_r\_00000里面存放的就是我们每年最大值的输出结果，内容如下：

![Center 1][]

下面的截图是通过Hadoop执行，在~/java/result目录下面的结果：

![Center 2][]

part\_r\_00000里面的内容和通过JAVA执行结果是一样的，这里就不贴图了。通过Hadoop命令执行，里面多了一个\_logs目录，它里面存放了本次用于执行的jar文件以及本次执行Hadoop用到的配置信息文件“\*\_conf.xml”，这个配置文件需要重点关注一下，因为这个文件里面包含了本次计算执行所需要的所有配置信息，以下为本次执行过后的配置文件：

注：后面补上

[Center]: /images/20220823/bb953e37cac940898fdfc177411e4aac.png
[Center 1]: /images/20220823/8c344afd09d445369b9260de9bbb519f.png
[Center 2]: /images/20220823/64708ee3f9ab482a85df0eb53d20e794.png