轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.18 序列化之JDK自带的序列化机制

向右看齐 2024-03-22 19:10 30阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.18 序列化之JDK自带的序列化机制

![在这里插入图片描述][fd6f2e266dde40d1a437372fa1607e1e.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.18 序列化之JDK自带的序列化机制 ######

在看Hadoop 自己的序列化之前，先回顾一下Java 中自己的序列化实现

package com.dingjiaxiong.mr.ser;
    
    import java.io.*;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 1:18 PM
     */
    
    /**
     * 序列化与反序列化基础
     */
    public class SerDeApp {
        
    
        public static void main(String[] args) throws Exception {
        
    
            // 序列化
            Person person = new Person(1, "DingJiaxiong", 100.0, 23);
            ObjectOutputStream out = new ObjectOutputStream(new FileOutputStream("ser/person.obj"));
            out.writeObject(person);
            out.close();
    
            // 反序列化
            ObjectInputStream in = new ObjectInputStream(new FileInputStream("ser/person.obj"));
            Person p = (Person) in.readObject();
            System.out.println(p);
        }
    }
    
    class Person implements Serializable {
        
    
        private int id;
        private String name;
        private double salary;
        private int age;
    
        public Person(int id, String name, double salary, int age) {
        
            this.id = id;
            this.name = name;
            this.salary = salary;
            this.age = age;
        }
    
        public int getId() {
        
            return id;
        }
    
        public void setId(int id) {
        
            this.id = id;
        }
    
        public String getName() {
        
            return name;
        }
    
        public void setName(String name) {
        
            this.name = name;
        }
    
        public double getSalary() {
        
            return salary;
        }
    
        public void setSalary(double salary) {
        
            this.salary = salary;
        }
    
        public int getAge() {
        
            return age;
        }
    
        public void setAge(int age) {
        
            this.age = age;
        }
    
        @Override
        public String toString() {
        
            return "Person{" +
                    "id=" + id +
                    ", name='" + name + '\'' +
                    ", salary=" + salary +
                    ", age=" + age +
                    '}';
        }
    }

运行之前把ser 的文件夹先创建出来

![在这里插入图片描述][8241787cb7d242ed8153fe828fc6be0e.png_pic_center]

运行结果

![在这里插入图片描述][601a04cf7fff4cc98d6721a209de05ce.png_pic_center]

没问题。这就是JDK 自带的序列化，

补充一下，如果不实现这个接口

![在这里插入图片描述][f4efec51dee14d00b274575df8da8fec.png_pic_center]

直接就报错了，`没有序列化异常`。

特别是在分布式框架中，序列化操作的性能的好与不好，直接影响着整个框架的性能。

而且JDK 的序列化结果会比较大，意思就是`不紧凑`

[fd6f2e266dde40d1a437372fa1607e1e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/defce8ddf2b44838a58c4e993f4b2edf.png
[8241787cb7d242ed8153fe828fc6be0e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/66aca27a9efd4f028d71649fa76b9611.png
[601a04cf7fff4cc98d6721a209de05ce.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/41c54b2c23064c58a9c543218da0762c.png
[f4efec51dee14d00b274575df8da8fec.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/8fd3798400544f638660572b0c790fd6.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.18 序列化之JDK自带的序列化机制

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.26 Hadoop序列化之总结

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.25 Hadoop序列化之自定义Driver类及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.24 Hadoop序列化之自定义Reducer类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.23 Hadoop序列化之自定义Mapper类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.22 Hadoop序列化之自定义序列化类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.21 Hadoop序列化之需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.20 Hadoop序列化之Writable接口详解

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.18 序列化之JDK自带的序列化机制

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.19 序列化之Data序列化机制

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.17 序列化概述