WordCount 官方源码解读及工程代码

r囧r小猫 2024-04-07 11:18 80阅读 0赞

一、WordCount是MapReduce分布式计算框架的demo,可以作为MapReduce入门Demo,了解其思想。  
![在这里插入图片描述][5b4e2fd961434fc6b9e3d783db8ef443.jpeg]  
WordCount是MapReduce计算的官方demo代码,通过解读WordCount代码可以了解MapReduce计算的基本思想,类和接口。  
![在这里插入图片描述][a4405af78749487a9b5fae7480e46340.png]  
一个基于MapReduce的WordCount程序主要由一下几个部分组成：

1、Split

将程序的输入数据进行切分，每一个 split 交给一个 Map Task 执行。split的数量可以自己定义。

2、Map

输入为一个split中的数据，对split中的数据进行拆分，并以 < key, value> 对的格式保存数据，其中 key 的值为一个单词，value的值固定为 1。如 < I , 1>、< wish, 1> …

3、Shuffle/Combine/sort

这几个过程在一些简单的MapReduce程序中并不需要我们关注，因为源代码中已经给出了一些默认的Shuffle/Combine/sort处理器，这几个过程的作用分别是：

Combine：对Map Task产生的结果在本地节点上进行合并、统计等，以减少后续整个集群间的Shuffle过程所需要传输的数据量。  
Shuffle / Sort：将集群中各个Map Task的处理结果在集群间进行传输，排序，数据经过这个阶段之后就作为 Reduce 端的输入。

4、Reduce

Reduce Task的输入数据其实已经不仅仅是简单的< key, value>对，而是经过排序之后的一系列key值相同的< key, value>对。Reduce Task对其进行统计等处理，产生最终的输出。

Map实现键值映射，将hadoop分配的输入按实现逻辑处理为规定的键值对格式输出。  
Reduce实现业务处理逻辑。在这里对相同键进行词频统计的累加，输出结果键值对。  
![在这里插入图片描述][983f26d195484ad0b606af43af8f1e20.png]

public class WordCount {
        
    
       public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
        
         private final static IntWritable one = new IntWritable(1);
         private Text word = new Text();
    
         public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
        
           String line = value.toString();
           StringTokenizer tokenizer = new StringTokenizer(line);
           while (tokenizer.hasMoreTokens()) {
        
             word.set(tokenizer.nextToken());
             output.collect(word, one);
           }
         }
       }
    
       public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
        
         public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
        
           int sum = 0;
           while (values.hasNext()) {
        
             sum += values.next().get();
           }
           output.collect(key, new IntWritable(sum));
         }
       }
       
    // main 函数承担驱动职责，提交整个任务
    public static void main(String[] args) throws Exception {
        
         JobConf conf = new JobConf(WordCount.class);
         conf.setJobName("wordcount");
         // 定义输出结果的key-value类型
         conf.setOutputKeyClass(Text.class);
         conf.setOutputValueClass(IntWritable.class);
    
         // 设置Map,Combiner,Reduce的自定义处理类
         conf.setMapperClass(Map.class);
         conf.setCombinerClass(Reduce.class);
         conf.setReducerClass(Reduce.class);
    
         conf.setInputFormat(TextInputFormat.class);
         conf.setOutputFormat(TextOutputFormat.class);
    
         //设置输入输出文件
         FileInputFormat.setInputPaths(conf, new Path(args[0]));
         FileOutputFormat.setOutputPath(conf, new Path(args[1]));
    
         JobClient.runJob(conf);
       }
    }

代码工程下载 链接：https://pan.baidu.com/s/1RaB4Uu50m3jb2MZT04FZRA  
提取码：7891  
![在这里插入图片描述][61f0ccb097ef4fddbdda494bd602f1b1.png]

![在这里插入图片描述][49f55bc75d734eba9cc475d39b97b409.png]  
二、Window要在本地idea运行wordcount,有几点注意：  
1.要在本地下载winutils并配置环境变量HADOOP\_HOME,然后重启idea  
2.hosts也要配置下namenode的ip主机名  
C:\\Windows\\System32\\drivers\\etc\\hosts  
3.将集群客户端etc/hadoop目录下的配置文件hdfs-site.xml、core-site.xml、yarn-site.xml下载下来,放到项目的classpath中。这些配置文件中包含了和集群的通信ip端口等信息。  
4.运行WordCount要配置输入和输出目录，不然会报错，而且输出目录不能存在，运行时会自动创建  
5.Windows本地异常NativeIOKaTeX parse error: Expected '\}', got 'EOF' at end of input: …tiveio.NativeIOWindows.access0(Ljava/lang/String;I)Z  
return true;  
// return access0(path, desiredAccess.accessRight());  
\}  
三、在yarn集群上运行WordCount  
Idea运行wordcount是在本地客户端运行的。要提交到集群上可以将wordcount打包成jar，然后通过yarn jar或者hadoop jar命令提交到yarn集群上运行。  
yarn jar WordCount-1.0-SNAPSHOT.jar WordCount hdfs://bigdata:8020/tmp/train/wordcount/in hdfs://bigdata:8020/tmp/train/xxx/wordcount/out

四、在eclipse中运行WordCount  
在eclipse中运行WordCount和idea中运行类似,可以先将依赖的jar包都导出来  
mvn dependency:copy-dependencies -DoutputDirectory=lib  
然后, 再导入到classpath中。

五、参考  
https://zhuanlan.zhihu.com/p/338662363  
https://blog.csdn.net/khxu666/article/details/80764994

[5b4e2fd961434fc6b9e3d783db8ef443.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/141e2618ceb04beea1f2d7592a7a1ddd.jpeg
[a4405af78749487a9b5fae7480e46340.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/ed837aecfe1b43cf90ab5f21b27bb746.png
[983f26d195484ad0b606af43af8f1e20.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b29816d38f874a3a8ae1aec1a9c8e91e.png
[61f0ccb097ef4fddbdda494bd602f1b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/382b7348a71f40eab4dfb428553fc3ef.png
[49f55bc75d734eba9cc475d39b97b409.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/524c35cd7a334344b155033267c6c6e7.png