Spark之广播变量

╰半夏微凉° 2022-12-31 13:20 145阅读 0赞

# Spark之广播变量 #

> 广播变量：分布式共享只读变量。  
> 广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值，以供一个或多个Spark操作使用。比如，如果你的应用需要向所有节点发送一个较大的只读查询表，广播变量用起来都很顺手。在多个并行操作中使用同一个变量，但是 Spark会为每个任务分别发送。

**1）使用广播变量步骤：**

（1）调用SparkContext.broadcast（广播变量）创建出一个广播对象，任何可序列化的类型都可以这么实现。  
（2）通过广播变量.value，访问该对象的值。  
（3）变量只会被发到各个节点一次，作为只读值处理（修改这个值不会影响到别的节点）。

**2）原理说明**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]

**3）代码实现**

object broadcast01 { 
    
        def main(args: Array[String]): Unit = { 
    
            //1.创建SparkConf并设置App名称
            val conf: SparkConf = new SparkConf().setAppName("SparkCoreTest").setMaster("local[*]")
    
            //2.创建SparkContext，该对象是提交Spark App的入口
            val sc: SparkContext = new SparkContext(conf)
    
            //3.采用集合的方式，实现rdd1和list的join
            val rdd: RDD[String] = sc.makeRDD(List("WARN:Class Not Find", "INFO:Class Not Find", "DEBUG:Class Not Find"), 4)
            val list: String = "WARN"
    
            // 声明广播变量
            val warn: Broadcast[String] = sc.broadcast(list)
    
            val filter: RDD[String] = rdd.filter { 
                // log=>log.contains(list)
                log => log.contains(warn.value)
            }
    
            filter.foreach(println)
    
            //4.关闭连接
            sc.stop()
        }
    }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221120/a50cebec8b6141cba9d2c3f62823b17b.png