轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.40 排序之分区排序编程

怼烎@ 2024-03-17 08:59 23阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.40 排序之分区排序编程

![在这里插入图片描述][1b3b7e4b88794b40961298519d22f42b.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.40 排序之分区排序编程 ######

分区排序肯定就和分区必然有关系，我们要保证每个分区内的数据是有序的

先来一个分区器

package com.dingjiaxiong.mr.sort.partition;
    
    import com.dingjiaxiong.mr.sort.all.Access;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Partitioner;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 4:32 PM
     */
    public class AccessSortPartitioner extends Partitioner<Access, Text> {
        
    
        @Override
        public int getPartition(Access access, Text text, int numPartitions) {
        
            String phone = text.toString();
            if (phone.startsWith("13")) {
        
                return 0;
            } else if (phone.startsWith("15")) {
        
                return 1;
            } else {
        
                return 2;
            }
        }
    }

![在这里插入图片描述][04fcc4c5b1644a9f8c9f832b62dea0bd.png_pic_center]

这次稍微改了下分区规则，以13开头的为一个，15开头的为一个，剩下的为一个

再来一个Driver

package com.dingjiaxiong.mr.sort.partition;
    
    import com.dingjiaxiong.mr.sort.all.Access;
    import com.dingjiaxiong.mr.sort.all.AccessSortMapper;
    import com.dingjiaxiong.mr.sort.all.AccessSortReducer;
    import com.dingjiaxiong.utils.FileUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.NullWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 1:35 PM
     */
    
    /**
     * 八股文编程
     */
    public class AccessPartitionSortDriver {
        
    
        public static void main(String[] args) throws Exception {
        
    
            String input = "data/access-stat.data";
            String output = "out";
    
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            FileUtils.delele(configuration, output);
    
            job.setJarByClass(AccessPartitionSortDriver.class);
            job.setMapperClass(AccessSortMapper.class);
            job.setReducerClass(AccessSortReducer.class);
    
            job.setMapOutputKeyClass(Access.class);
            job.setMapOutputValueClass(Text.class);
    
            job.setOutputKeyClass(NullWritable.class);
            job.setOutputValueClass(Access.class);
    
            // 设定分区器
            job.setPartitionerClass(AccessSortPartitioner.class);
            job.setNumReduceTasks(3);
    
            FileInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            job.waitForCompletion(true);
    
        }
    }

直接运行

![在这里插入图片描述][d0f1597808cb422a85e8df6e3e30afb9.png_pic_center]

OK， 输出了三个文件

第一个

![在这里插入图片描述][00cc67dedb6a451cadab4bc6f45875cd.png_pic_center]

第二个

![在这里插入图片描述][15680d4251384aab8b90e87b673e654d.png_pic_center]

第三个

![在这里插入图片描述][aee085738bb64dcc92142d764a4bd114.png_pic_center]

没问题，既分了区，也降序了

修改一下排序规则

![在这里插入图片描述][9ad2ebc66915429581fad585700747d6.png_pic_center]

运行结果

![在这里插入图片描述][c068b14cbf224d5eaff93952fc210d1a.png_pic_center]

这样就升序了，并且分了区

【记得】分区排序只能保证分区中有序，不能保证全局有序。

[1b3b7e4b88794b40961298519d22f42b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b32f2275d0db48e89f5c21fcc648efb2.png
[04fcc4c5b1644a9f8c9f832b62dea0bd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/38e0efa8809f4d548a5e4c24e76ca0b9.png
[d0f1597808cb422a85e8df6e3e30afb9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/27b6f0f1e6cb4bd89e5df8e221253aaf.png
[00cc67dedb6a451cadab4bc6f45875cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/5090ef539d1f492682f3611179316476.png
[15680d4251384aab8b90e87b673e654d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b93df2a41971405ba27638ec9c3987e2.png
[aee085738bb64dcc92142d764a4bd114.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/63315022ff0442d898b3b41756ff498d.png
[9ad2ebc66915429581fad585700747d6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/cd746bebb39a453f9e33debae801a22e.png
[c068b14cbf224d5eaff93952fc210d1a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/98b79fb53d47448faeb11bacfdf5d8c1.png