Spark，大规模jaccard距离join，笛卡尔积的复杂度，的近似速度优化算法

港控/mmm° 2022-09-10 10:26 36阅读 0赞

有jaccard距离udf函数：

def jaccardDistance = udf {  (string1: String, string2: String) =>
          var result = false
          val set1: Set[Char] = string1.toSet
          val set2: Set[Char] = string2.toSet
          val intersectSize = set1.intersect(set2).size.toFloat
          val unionSize = set1.union(set2).size.toFloat
          val value = intersectSize / unionSize
          if (value > 0.6) { 
            result = true
          }
          result
        }

要计算

var resultDF = joinDF1.join(joinDF2,
          jaccardDistance(joinDF1.col("input_column1"), joinDF2.col("input_column2"))
        )

完全跑不完，  
近似解决方案：预处理join的key

val tmpKey = input_column.toSet.toArray.sorted.mkString("")
            if (tmpKey.length >= 3) { 
              val joinKey = tmpKey.subSequence(0, 3).toString
            }
            if (tmpKey.length >= 4) { 
              val joinKey = tmpKey.subSequence(0, 4).toString
            }
            if (tmpKey.length >= 5) { 
              val joinKey = tmpKey.subSequence(0, 5).toString
            }
            if (tmpKey.length >= 6) { 
              val joinKey = tmpKey.subSequence(0, 6).toString
            }
            //...

然后直接join

var resultDF = joinDF1.join(joinDF2,
          Seq("joinKey")
        )

发表评论取消回复

表情：

评论列表（有 0 条评论，36人围观）

还没有评论，来说两句吧...

相关阅读

相关 java 笛卡尔积（循环）

@SuppressWarnings({ "rawtypes", "unchecked" }) public static List Dikaerji(List

逃离我推掉我的手/ 2022年09月26日 03:52/ 0 赞/ 272 阅读

相关 Spark，大规模jaccard距离join，笛卡尔积的复杂度，的速度优化逼近算法

有jaccard距离udf函数： def jaccardDistance = udf { (string1: String, string2: String) =>

╰+哭是因爲堅強的太久メ/ 2022年09月10日 13:21/ 0 赞/ 80 阅读

相关 Spark，大规模jaccard距离join，笛卡尔积的复杂度，的近似速度优化算法

有jaccard距离udf函数： def jaccardDistance = udf { (string1: String, string2: String) =>

港控/mmm°/ 2022年09月10日 10:26/ 0 赞/ 37 阅读

相关 Java中笛卡尔积的实现

笛卡尔积大家想必都比较了解，在这里不做理论上的赘述了，直接上代码，如下所示： 1. public class Test1 \{ 2. 3. @Supp

ゞ浴缸里的玫瑰/ 2022年07月12日 05:11/ 0 赞/ 396 阅读

相关 Java中笛卡尔积的实现

笛卡尔积大家想必都比较了解，在这里不做理论上的赘述了，直接上代码，如下所示： 1. public class Test1 \{ 2. 3. @Supp

短命女/ 2022年07月12日 05:11/ 0 赞/ 274 阅读

相关 Python求笛卡尔积

> 使用列表推导计算笛卡尔积 >>> colors = ['black','white'] >>> sizes = ['S','M','L'] >>>

青旅半醒/ 2022年06月03日 22:50/ 0 赞/ 286 阅读

相关 php 笛卡尔积的实现

<?php $arr = array(array(1,3,4,5),array(3,5,7,9),array(76,6,1,0)); / 实现

拼搏现实的明天。/ 2022年03月11日 09:20/ 0 赞/ 311 阅读

相关 mysql中left join的误解及笛卡尔积解释

首先，说下自己一直以来的误区： left join（左外连接）查询，已左表A为基础表，关联右表B查询，最多只会返回A表里面满足条件的记录。这种想法是错误的，返回的记录

妖狐艹你老母/ 2022年01月28日 23:43/ 0 赞/ 214 阅读

相关优化：java递归实现笛卡尔积算法

笛卡尓积又称直积，表示为X×Y。举例：集合A=\{a, b\}，集合B=\{0, 1, 2\}，则两个集合的笛卡尔积为\{(a, 0), (a, 1), (a, 2), (

太过爱你忘了你带给我的痛/ 2021年09月07日 06:08/ 0 赞/ 625 阅读

相关笛卡尔积定义运算

笛卡尔乘积是指在数学中，两个集合X和Y的笛卡尔积（Cartesianproduct），又称直积，表示为X×Y，第一个对象是X的成员而第二个对象是Y的所有可能有序对的其中一...

朱雀/ 2021年01月26日 08:20/ 0 赞/ 1442 阅读