MapReduce job 如何实现全局共享数据

﹏ヽ暗。殇╰゛Y 2022-05-23 01:49 208阅读 0赞

**MapReduce job 如何实现全局共享数据**

背景：在写MR的时候，经常会遇到这样一种情况，如何将参数传递给map或reduce已进行下一步的处理。这时候就涉及到了全局变量。但是在MapReduce中直接使用代码的全局变量是不可行的，因为Map和Reduced在集群上都是独立运行的，并不共享同一个java虚拟机资源，那怎么办呢？有三种方法可以实现

**（1）读写HDFS文件（不常用）**

*  优点：支持读写，比较直观  
    
 *  缺点：使用I/O，占用系统资源

注：在mapreduce框架中，map task 和 redcue task 都是运行子啊集群的节点上，因此两者都可以通过读取HDFS中的同一个文件来实现全局共享数据。具体是利用hadoop的java API来完成。需要注意的是多个map或reduce的写操作会产生冲突，覆盖原有数据。

**（2）配置Job属性**

*  优点：简单，消耗资源少  
    
 *  缺点：不能共享大量数据

注：在MapReduce的执行过程中，由于task可读取Job的属性，因此可以在任务启动之初通过Configuration类中的set(String name, String value)方法将少量简单的数据封装到Job的属性中，然后在task中利用get(String name)方法获取封装到Job属性中的全局数据。

**（3）使用DistributedCache**

*  优点：每个Job共享文件只在启动之后复制一次，且适用于大量的共享数据  
    
 *  缺点：只支持读，不支持写

注：DistributedCache是MapReduce为应用提供缓存文件的只读工具，可以缓存文本文件，压缩文件和jar文件等。使用时，用户可以在作业配置时使用本地文件或HDFS文件的URL来将其设置成共享缓存文件。在Job启动之前，MapReduce框架会将可能需要的缓存文件复制到执行task的节点上。

--------------------

下面就对（2）（3）方法进行介绍

***（2）配置Job属性***

在主函数中调用set函数设置参数，如下

Configuration conf = getConf();
    conf.set("MaxValue", 100);

在map或者reduce函数中通过context来获取当前Job的配置，获取参数，如下

Configuration conf = context.getConfiguration();
    String maxValue = conf.get("MaxValue")

***（3）使用DistributedCache***

在主函数中

Configuration conf = getConf();
    Text maxValue = new Text("100");
    DefaultStringifier.store(conf, maxValue, "MaxValue");

这样Text对象maxValue就以Maxvalue作为key存储在conf对象中了，然后在map后reduce函数中调用load函数来获取对象

Configuration conf = context.getConfiguration();
    Text out = DefaultStringifier.load(conf, "MaxValue", Text.class);

注：需要传递的对象必须先实现序列化的接口，hadoop的序列化是通过Writable接口来实现的。

参考：

1、 [https://note.youdao.com/share/?id=c0742ed1005880a85075a615abddf474&type=note\#/][https_note.youdao.com_share_id_c0742ed1005880a85075a615abddf474_type_note]

2、[https://blog.csdn.net/u012587561/article/details/47850317][https_blog.csdn.net_u012587561_article_details_47850317]

[https_note.youdao.com_share_id_c0742ed1005880a85075a615abddf474_type_note]: https://note.youdao.com/share/?id=c0742ed1005880a85075a615abddf474&type=note#/
[https_blog.csdn.net_u012587561_article_details_47850317]: https://blog.csdn.net/u012587561/article/details/47850317