轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.32 KeyValueTextInputFormat编程

忘是亡心i 2024-03-17 08:59 42阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.32 KeyValueTextInputFormat编程

![在这里插入图片描述][81fa72960db74998b02c53ae80c5796e.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.32 KeyValueTextInputFormat编程 ######

来个需求：

统计输入文件中每一行数据的第一个单词相同的行数

模拟一份数据：

pk,pk
    pk,pk
    pk,zhangsan
    zhangsan
    lisi
    pk
    pk

![在这里插入图片描述][b591ac6fe1ea4740a39663d3ce5195d9.png_pic_center]

按照我们的需求，大概意思最终的结果应该是pk → 5，zhangsan → 1，lisi → 1

和词频统计的区别其实就在于词频统计要读到每一行所有的单词，而这个需求只需要读出每一行第一个单词【换句话说，第一列数据】就行了

介绍`KeyValueTextInputFormat`

看到源码

![在这里插入图片描述][3f8760a1e705400b9f5cd85b6f500b92.png_pic_center]

同样是实现了两个方法，是否可分片是一样的，返回的读取器有区别

![在这里插入图片描述][fa708a1483a5487c8bef2421c573c50d.png_pic_center]

`TextInputFormat` 是返回的一个`Line`

![在这里插入图片描述][ad4befee3def44a397354c3de1785688.png_pic_center]

说明这是一个KV 读取器

OK， 实现这个需求

package com.dingjiaxiong.mr.inputformat;
    
    import com.dingjiaxiong.utils.FileUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.Mapper;
    import org.apache.hadoop.mapreduce.Reducer;
    import org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat;
    import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 2:32 PM
     */
    public class KeyValueInputFormatApp {
        
    
        public static void main(String[] args) throws Exception {
        
    
            String input = "data/kv.data";
            String output = "out2";
    
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            FileUtils.delele(configuration, output);
    
            job.setJarByClass(KeyValueInputFormatApp.class);
    
            job.setMapperClass(MyMapper.class);
            job.setReducerClass(MyReducer.class);
    
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
    
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
    
            // 设置输入数据的InputFormat
            job.setInputFormatClass(KeyValueTextInputFormat.class);
            TextInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            boolean result = job.waitForCompletion(true);
            System.exit(result ? 0 : 1);
        }
    
        public static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        
    
            @Override
            protected void reduce(Text word, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
                int count = 0;
                for (IntWritable value : values) {
        
                    count += value.get();
                }
    
                // 输出
                context.write(word, new IntWritable(count));
            }
        }
    
    
        public static class MyMapper extends Mapper<Text, Text, Text, IntWritable> {
        
    
            IntWritable ONE = new IntWritable(1);
    
            @Override
            protected void map(Text key, Text value, Mapper<Text, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
                context.write(key, ONE);
            }
        }
    }

![在这里插入图片描述][ff60475d58114e3e83938bf47b803fd3.png_pic_center]

在这个地方来个断点，看看这个key 是什么

Debug 运行

![在这里插入图片描述][903889bb91624780ac556213cdcba9b9.png_pic_center]

可以看到好像不对劲，放行

![在这里插入图片描述][2ac00f9a5388497eb4c5b80df4df6b70.png_pic_center]

再放

![在这里插入图片描述][0ecbd639e080434a97e77da00a1e4156.png_pic_center]

OK，这是因为它默认是以`\t` 为分隔符，而我们的数据是`,`

设置一下

configuration.set(KeyValueLineRecordReader.KEY_VALUE_SEPARATOR, ",");

![在这里插入图片描述][1186c28507ff421cb0ad1a1b5b1e0aef.png_pic_center]

再来一次

![在这里插入图片描述][c5d7d68bf3e940f4be90b9862efc093d.png_pic_center]

放

![在这里插入图片描述][2f116116af1044f786629c0b3cf2306f.png_pic_center]

再放

![在这里插入图片描述][81d90867597242018977cc2bcd355ec2.png_pic_center]

这样就是以`,` 为分隔符了，而且这次我们不关注VALUE，只看KEY，解释一下，读到第三对KV时，K 是pk，V 是 zhangsan，但是我们并不关心张三，只会把<pk , 1> 返回。妙啊

放完

结果

![在这里插入图片描述][374df7f041d54af1801834be6bf71b2c.png_pic_center]

没问题，

我们再来个断点

![在这里插入图片描述][12c633badaf14af19a04229ce5fb69e7.png_pic_center]

看看这个是否分片是怎么回事

运行

![在这里插入图片描述][7e9257fa7f664e3e8869a36088df70ea.png_pic_center]

可以看到，在我们没有压缩的情况下，这个`codec` 是null ，null 就返回true了，说明可以分片，当然现在知道 txt 文本文件可以分片就行，关于压缩之后会再细说。

[81fa72960db74998b02c53ae80c5796e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f9de83e5ee6a4becaa5e1e675d03003a.png
[b591ac6fe1ea4740a39663d3ce5195d9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b5803e38bd794ef280e4e1f3b8e8c741.png
[3f8760a1e705400b9f5cd85b6f500b92.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/db972acf115e4edc81ae16dec3a3cf5a.png
[fa708a1483a5487c8bef2421c573c50d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b8713e4f11de4e60a4c535b2d9f6b906.png
[ad4befee3def44a397354c3de1785688.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/74d1c372327f4b48bfa7e0e361387ef1.png
[ff60475d58114e3e83938bf47b803fd3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e2fa4b2fa03f475c9909c7ddd20b392f.png
[903889bb91624780ac556213cdcba9b9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/650bde249d104901a3ce1650ac73654e.png
[2ac00f9a5388497eb4c5b80df4df6b70.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/45d4c896b4454ec4a66f89356499de56.png
[0ecbd639e080434a97e77da00a1e4156.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a84f5f2a7cf84faaab3f168a23dc695b.png
[1186c28507ff421cb0ad1a1b5b1e0aef.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/844af0400cce4a43bf4ee8501adb20a8.png
[c5d7d68bf3e940f4be90b9862efc093d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/ba41ae5950164e468ad1039c8b2f4a7a.png
[2f116116af1044f786629c0b3cf2306f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0fa6c879efdf416c9b7785448fea583e.png
[81d90867597242018977cc2bcd355ec2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/19d72b10172e450e8c35f4fffa2a3adb.png
[374df7f041d54af1801834be6bf71b2c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6854bf16f9de45978e17061fd790c553.png
[12c633badaf14af19a04229ce5fb69e7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0811dbbf856e4bac9143292d1ca7df24.png
[7e9257fa7f664e3e8869a36088df70ea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0f1af9b2c00340248db9f04b4732a1f8.png