轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.25 Hadoop序列化之自定义Driver类及测试

我会带着你远行 2024-03-22 19:33 53阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.25 Hadoop序列化之自定义Driver类及测试

![在这里插入图片描述][9d9436834cda432781532fd3fb4846f7.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.25 Hadoop序列化之自定义Driver类及测试 ######

OK， 到这里自定义的 Mapper 和 Reducer 都准备好了， 最后就是串起来

在这之前，一定记得给之前的`Access` 来一个无参构造，不然要报错，其实默认是有一个，但是因为我们给了一个构造，默认的就不会给了

![在这里插入图片描述][f936efa4e1154f69beb3c67ffee1a4d1.png_pic_center]

还有`toString()` 方法

当然这个toString 就要和我们的实际需求结合着改 了

@Override
        public String toString() {
        
            return phone + "," + up + "," + down + "," + sum;
        }

这样就更清晰了

![在这里插入图片描述][6c3f771cf23f4fddbb687e38908d3515.png_pic_center]

【这是最佳实践】

`AccessDriver`

package com.dingjiaxiong.mr.ser;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.NullWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 1:35 PM
     */
    
    /**
     * 八股文编程
     */
    public class AccessDriver {
        
    
        public static void main(String[] args) throws Exception {
        
    
            String input = "data/access.log";
            String output = "out";
    
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            job.setJarByClass(AccessDriver.class);
            job.setMapperClass(AccessMapper.class);
            job.setReducerClass(AccessReducer.class);
    
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(Access.class);
    
            job.setOutputKeyClass(NullWritable.class);
            job.setOutputValueClass(Access.class);
    
            FileInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            job.waitForCompletion(true);
    
        }
    }

![在这里插入图片描述][81ccbddc90f44408b90780b7d909ae11.png_pic_center]

运行结果【运行之前记得把out 目录删了，或者加上我们的工具类】

![在这里插入图片描述][6029dc9663554347b006fbb4fe938d32.png_pic_center]

运行完毕，经检查，没问题。

这样就实现我们的需求。

[9d9436834cda432781532fd3fb4846f7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e39aa20fc3a94d4ab3bd1037ddd2db64.png
[f936efa4e1154f69beb3c67ffee1a4d1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/0ff4fd0d7d564b33b4b244d58d18b64f.png
[6c3f771cf23f4fddbb687e38908d3515.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/7c9dc107357b432b86a29cf62eb54b22.png
[81ccbddc90f44408b90780b7d909ae11.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/85a3a53a2a7246ea8a6c4e8df3475e41.png
[6029dc9663554347b006fbb4fe938d32.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/7453e260012246c480b263fa953c97b8.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.25 Hadoop序列化之自定义Driver类及测试

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.26 Hadoop序列化之总结

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.25 Hadoop序列化之自定义Driver类及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.24 Hadoop序列化之自定义Reducer类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.23 Hadoop序列化之自定义Mapper类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.22 Hadoop序列化之自定义序列化类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.21 Hadoop序列化之需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.20 Hadoop序列化之Writable接口详解

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.19 序列化之Data序列化机制

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.17 序列化概述

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.11 词频统计之自定义Driver