轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.11 词频统计之自定义Driver

左手的ㄟ右手 2024-03-22 19:09 30阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.11 词频统计之自定义Driver

![在这里插入图片描述][d90339cb16c847dfb19a638d8e63219d.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.11 词频统计之自定义Driver ######

之前我们已经完成了自定义mapper 和 reducer 的编写，最后就是要一个driver 把它们串起来。

Driver  
把所有相关的东西都串起来

package com.dingjiaxiong.mr.wc;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 11:12 AM
     */
    
    /**
     * 八股文编程[面向套路编程]
     */
    public class WordCountDriver {
        
    
        public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        
    
            // 获取Job对象
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            // 设置运行类
            job.setJarByClass(WordCountDriver.class);
    
            // 设置Mapper和Reducer
            job.setMapperClass(WordCountMapper.class);
            job.setReducerClass(WordCountReducer.class);
    
            // 设置Mapper的输出数据的KEY和VALUE类型
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
    
            // 设置Reducer的输出数据的KEY和VALUE类型
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
    
            // 设置作业的输入和输出路径
            String input = "data/wc.data";
            String out = "out";
    
            FileInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(out));
    
            // 提交Job
            boolean result = job.waitForCompletion(true);
            System.exit(result ? 0 : 1);
        }
    
    }

![在这里插入图片描述][d920264def8b4ce8b169bba2a41c0e1b.png_pic_center]

> 其实笔者之前已经做过一遍了，这里换了Linux ，所以又来了一次

[d90339cb16c847dfb19a638d8e63219d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/6627879bf35a455cb0663bac63cdab72.png
[d920264def8b4ce8b169bba2a41c0e1b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/157f42825af94e09a3ab0cfbb5b0303b.png