测试hadoop-1.2.1是否成功安装和配置

骑猪看日落 2022-08-02 12:37 597阅读 0赞

本文说明hadoop安装之后验证安装和配置的方法，hadoop-1.2.1安装方法参考：[hadoop-1.2.1安装方法详解][hadoop-1.2.1]  
  
hadoop安装成功之后，要简单验证是否成功安装和配置，在[hadoop-1.2.1安装方法详解][hadoop-1.2.1]教程中，已经通过jps命令简单的验证，这里通过执行MapReduce作业统计单词来进一步验证reduce的配置是否正确，下面是验证方法：  
  
1、为方便运行hadoop命令，首先配置一下hadoop的环境变量  
打开hadoop用户目录下的 .bashrc 文件，添加修改以下内容：

export HADOOP_HOME=/home/hadoop/hadoop-1.2.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

配置之后注意要重新登录或者执行命令 source .bashrc 使配置生效  
  
配置HADOOP\_HOME之后，运行命令会报 ”Warning: $HADOOP\_HOME is deprecated. “警告，  
解决方法参考  [hadoop1.2.1报Warning: $HADOOP\_HOME is deprecated. 的解决方法][hadoop1.2.1_Warning_ _HADOOP_HOME is deprecated.]

2、在本地创建测试文件，为上传方便，我们先创建一个input文件，然后建立test1.txt和test2.txt文件  
\[hadoop@mdw temp\]$ mkdir input  
\[hadoop@mdw temp\]$ cd input/  
\[hadoop@mdw input\]$ echo "hello world hello hadoop" > test1.txt  
\[hadoop@mdw input\]$ echo "hello hadoop" > test2.txt  
\[hadoop@mdw input\]$ ll  
total 8  
\-rw-rw-r-- 1 hadoop hadoop 25 May 29 01:19 test1.txt  
\-rw-rw-r-- 1 hadoop hadoop 13 May 29 01:20 test2.txt  
\[hadoop@mdw input\]$ cat test1.txt   
hello world hello hadoop  
\[hadoop@mdw input\]$ cat test2.txt   
hello hadoop  
  
  
红色内容为两个文本文件的内容，我们要通过MapReduce作业统计单词的个数  
  
3、上传这两个文本文件到hdfs文件系统(我这里上传到hdfs文件系统的 in 文件夹中)  
\[hadoop@mdw input\]$ hadoop dfs -put ../input/ in  
上传之后，查看hdfs文件系统  
\[hadoop@mdw input\]$ hadoop dfs -ls  
Found 1 items  
drwxr-xr-x   - hadoop supergroup          0 2015-05-29 01:31 /user/hadoop/in  
  
我就可以看到，/user/hadoop文件夹中多了一个in文件夹，执行命令查看文件内容如下  
\[hadoop@mdw input\]$ hadoop dfs -ls ./in  
Found 2 items  
\-rw-r--r--   2 hadoop supergroup         25 2015-05-29 01:31 /user/hadoop/in/test1.txt  
\-rw-r--r--   2 hadoop supergroup         13 2015-05-29 01:31 /user/hadoop/in/test2.txt  
  
  
如果上传时报以下错误：  
put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hadoop/in. Name node is in safe mode.  
运行命令关闭安全模式即可：  
\[hadoop@mdw input\]$ hadoop dfsadmin -safemode leave

4、运行hadoop自带的单词计数程序统计单词个数  
\[hadoop@mdw input\]$ hadoop jar ~/hadoop-1.2.1/hadoop-examples-1.2.1.jar wordcount in out  
15/05/29 01:41:13 INFO input.FileInputFormat: Total input paths to process : 2  
15/05/29 01:41:13 INFO util.NativeCodeLoader: Loaded the native-hadoop library  
15/05/29 01:41:13 WARN snappy.LoadSnappy: Snappy native library not loaded  
15/05/29 01:41:14 INFO mapred.JobClient: Running job: job\_201505290130\_0001  
15/05/29 01:41:15 INFO mapred.JobClient:  map 0% reduce 0%  
15/05/29 01:41:19 INFO mapred.JobClient:  map 50% reduce 0%  
15/05/29 01:41:20 INFO mapred.JobClient:  map 100% reduce 0%  
15/05/29 01:41:26 INFO mapred.JobClient:  map 100% reduce 33%  
15/05/29 01:41:27 INFO mapred.JobClient:  map 100% reduce 100%  
15/05/29 01:41:27 INFO mapred.JobClient: Job complete: job\_201505290130\_0001  
15/05/29 01:41:27 INFO mapred.JobClient: Counters: 29  
15/05/29 01:41:27 INFO mapred.JobClient:   Job Counters   
15/05/29 01:41:27 INFO mapred.JobClient:     Launched reduce tasks=1  
15/05/29 01:41:27 INFO mapred.JobClient:     SLOTS\_MILLIS\_MAPS=5374  
15/05/29 01:41:27 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
15/05/29 01:41:27 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
15/05/29 01:41:27 INFO mapred.JobClient:     Launched map tasks=2  
15/05/29 01:41:27 INFO mapred.JobClient:     Data-local map tasks=2  
15/05/29 01:41:27 INFO mapred.JobClient:     SLOTS\_MILLIS\_REDUCES=8142  
15/05/29 01:41:27 INFO mapred.JobClient:   File Output Format Counters   
15/05/29 01:41:27 INFO mapred.JobClient:     Bytes Written=25  
15/05/29 01:41:27 INFO mapred.JobClient:   FileSystemCounters  
15/05/29 01:41:27 INFO mapred.JobClient:     FILE\_BYTES\_READ=68  
15/05/29 01:41:27 INFO mapred.JobClient:     HDFS\_BYTES\_READ=254  
15/05/29 01:41:27 INFO mapred.JobClient:     FILE\_BYTES\_WRITTEN=165604  
15/05/29 01:41:27 INFO mapred.JobClient:     HDFS\_BYTES\_WRITTEN=25  
15/05/29 01:41:27 INFO mapred.JobClient:   File Input Format Counters   
15/05/29 01:41:27 INFO mapred.JobClient:     Bytes Read=38  
15/05/29 01:41:27 INFO mapred.JobClient:   Map-Reduce Framework  
15/05/29 01:41:27 INFO mapred.JobClient:     Map output materialized bytes=74  
15/05/29 01:41:27 INFO mapred.JobClient:     Map input records=2  
15/05/29 01:41:27 INFO mapred.JobClient:     Reduce shuffle bytes=74  
15/05/29 01:41:27 INFO mapred.JobClient:     Spilled Records=10  
15/05/29 01:41:27 INFO mapred.JobClient:     Map output bytes=62  
15/05/29 01:41:27 INFO mapred.JobClient:     CPU time spent (ms)=1960  
15/05/29 01:41:27 INFO mapred.JobClient:     Total committed heap usage (bytes)=337780736  
15/05/29 01:41:27 INFO mapred.JobClient:     Combine input records=6  
15/05/29 01:41:27 INFO mapred.JobClient:     SPLIT\_RAW\_BYTES=216  
15/05/29 01:41:27 INFO mapred.JobClient:     Reduce input records=5  
15/05/29 01:41:27 INFO mapred.JobClient:     Reduce input groups=3  
15/05/29 01:41:27 INFO mapred.JobClient:     Combine output records=5  
15/05/29 01:41:27 INFO mapred.JobClient:     Physical memory (bytes) snapshot=324222976  
15/05/29 01:41:27 INFO mapred.JobClient:     Reduce output records=3  
15/05/29 01:41:27 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1128259584  
15/05/29 01:41:27 INFO mapred.JobClient:     Map output records=6  
  
注意：hadoop自带的hadoop-examples-1.2.1.jar这个jar文件在hadoop的安装目录下  
  
通过上面的信息，我们可以看到，MapReduce任务成功执行，我们再次查看hdfs文件系统，会发现里面多了一个out文件夹  
\[hadoop@mdw input\]$ hadoop dfs -ls  
Found 2 items  
drwxr-xr-x   - hadoop supergroup          0 2015-05-29 01:31 /user/hadoop/in  
drwxr-xr-x   - hadoop supergroup          0 2015-05-29 01:41 /user/hadoop/out  
  
执行ls命令查看out文件夹里的内容：  
\[hadoop@mdw input\]$ hadoop dfs -ls ./out  
Found 3 items  
\-rw-r--r--   2 hadoop supergroup          0 2015-05-29 01:41 /user/hadoop/out/\_SUCCESS  
drwxr-xr-x   - hadoop supergroup          0 2015-05-29 01:41 /user/hadoop/out/\_logs  
\-rw-r--r--   2 hadoop supergroup         25 2015-05-29 01:41 /user/hadoop/out/part-r-00000  
  
MapReduce任务输出的数据主要存在part-r-00000文件中，我们可以执行命令查看这几个文件的具体内容：  
\[hadoop@mdw input\]$ hadoop dfs -cat ./out/\*  
hadoop  2  
hello   3  
world   1  
cat: File does not exist: /user/hadoop/out/\_logs  
  
  
这里红色部分就是MapReduce的执行结果，两个文本文件中的单词被正确统计出来，到此已能充分说明hadoop已经成功安装配置

[hadoop-1.2.1]: http://blog.csdn.net/gnail_oug/article/details/46957955
[hadoop1.2.1_Warning_ _HADOOP_HOME is deprecated.]: http://blog.csdn.net/gnail_oug/article/details/46906949