spark获取dataframe中列的最大值索引

深碍√TFBOYSˉ_ 2021-09-29 22:50 617阅读 0赞

package com.xxx
    
    import org.apache.log4j.{Level, Logger}
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.SQLContext
    
    
    object spark_vector_argmax{
      def main(arg: Array[String]): Unit = {
        Logger.getLogger("org").setLevel(Level.ERROR)
        // create some sample data:
        import org.apache.spark.mllib.linalg.{Vectors,Vector}
        case class myrow(topics:Vector)
        val spark = SparkSession
          .builder()
          .master("local")
          .appName("TopicExtraction")
          .getOrCreate()
        import spark.implicits._                  //必须有，否则$符号不显示
        val sc = spark.sparkContext
        val rdd = sc.parallelize(Array((Vectors.dense(1,0.2),Vectors.dense(0.6,0.2))))
        val mydf = spark.createDataFrame(rdd).toDF("id","topics")
        mydf.show()
    
        // build the udf
        import org.apache.spark.sql.functions.udf
        val func = udf( (x:Vector) => x.toDense.values.toSeq.indices.maxBy(x.toDense.values) )
    
        mydf.withColumn("max_idx",func($"topics")).show()
      }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，617人围观）

还没有评论，来说两句吧...

相关阅读

相关 maxelement（）、minelement（）函数获取最大值、最小值及其索引

对普通数组获取最大值、最小值以及他们的位置注意头文件，\include <algorithm> include <iostream> include

旧城等待，/ 2023年06月27日 08:46/ 0 赞/ 16 阅读

相关获取数组中的最大值,以及最小值

package com.java; import org.junit.Test; import java.util.Arrays;

谁践踏了优雅/ 2023年06月19日 04:29/ 0 赞/ 30 阅读

相关 js获取数组最大值的索引_JS 数组获取最大值

一、一维数组 var a=\[1,2,3,5\]; alert(Math.max.apply(null, a));//最大值 alert(Math.min.apply(n

拼搏现实的明天。/ 2023年01月08日 08:10/ 0 赞/ 274 阅读

相关 dataframe在最左边添加一列索引

df.insert(0, 'index', range(len(df)), allow_duplicates=False) 0表示放在第0列，range(len(df

野性酷女/ 2023年01月08日 04:22/ 0 赞/ 142 阅读

相关获取数组中最大值

var salePriceData=\[100,200,435,876,999\]; var maxdata=salePriceData\[0\]; for(var n=1

谁借莪１个温暖的怀抱￠/ 2022年06月08日 03:16/ 0 赞/ 250 阅读

相关 js获取数组中的最大值最小值

1、遍历方法： var tmp=\[1,12,8,5\]; var max=tmp\[0\]; for(var i=1;i<tmp.length;i++)\{ if(m

川长思鸟来/ 2022年05月31日 02:27/ 0 赞/ 321 阅读

相关 oracle函数COALESCE / GREATEST / LEAST/NVL(空值转换/获取列的最大值/获取列的最小值/空值转换)

文章转载自[内置函数之 GREATEST 和 LEAST][GREATEST _ LEAST] > Oracle比较一列的最大值或者最小值，我们会不假思索地用MAX和MIN函

「爱情、让人受尽委屈。」/ 2022年04月25日 01:28/ 0 赞/ 278 阅读

相关 ios获取数组中的最大值

在编码过程中，我们通常碰到一组数据，需要自己简单的处理下，拿到数组中的总和，大小和平均值数据。 1.简单粗暴的方法，快速求和。 NSArray array = @

怼烎@/ 2021年11月02日 04:02/ 0 赞/ 401 阅读

相关 ios获取数组中的最大值

在编码过程中，我们通常碰到一组数据，需要自己简单的处理下，拿到数组中的总和，大小和平均值数据。 1.简单粗暴的方法，快速求和。 NSArray array = @

你的名字/ 2021年10月29日 17:18/ 0 赞/ 379 阅读

相关 spark获取dataframe中列的最大值索引

package com.xxx import org.apache.log4j.{Level, Logger} import org.apac

深碍√TFBOYSˉ_/ 2021年09月29日 22:50/ 0 赞/ 618 阅读