DataFrame与Dataset 的区别

蔚落 2024-02-19 16:03 69阅读 0赞

### DataFrame与Dataset 的关系 ###

1.  DataFrame与Dataset一般与spark ml同时使用
2.  DataFrame与Dataset均支持sparksql的操作，比如select，groupby之类，还能注册临时表/视窗，进行sql语句操作，如
    
        dataDF.createOrReplaceTempView("tmp")
         spark.sql("select  ROW,DATE from tmp where DATE is not null order by

DATE").show(100,false)  
3. DataFrame与Dataset支持一些特别方便的保存方式，比如保存成csv，可以带上表头，这样每一列的字段名一目了然

//保存
    val saveoptions = Map("header" -> "true", "d## 标题elimiter" -> "\t", "path" -> "hdfs://172.xx.xx.xx:9000/test")
    datawDF.write.format("com.databricks.spark.csv").mode(SaveMode.Overwrite).options(saveoptions).save()
    //读取
    val options = Map("header" -> "true", "delimiter" -> "\t", "path" -> "hdfs://172.xx.xx.xx:9000/test")
    val datarDF= spark.read.options(options).format("com.databricks.spark.csv").load()

利用这样的保存方式，可以方便的获得字段名和列的对应，而且分隔符（delimiter）可以自由指定

### 对比Dataset和DataFrame ###

DataFrame也可以叫Dataset\[Row\],每一行的类型是Row，不解析，每一行究竟有哪些字段，各个字段又是什么类型都无从得知，只能用上面提到的getAS方法或者共性中的拿出特定字段

而Dataset中，每一行是什么类型是不一定的，在自定义了case class之后可以很自由的获得每一行的信息

case class Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型
    /**
          rdd
          ("a", 1)
          ("b", 1)
          ("a", 1)
          * */
    val test: Dataset[Coltest]=rdd.map{line=>
          Coltest(line._1,line._2)
        }.toDS
    test.map{
          line=>
            println(line.col1)
            println(line.col2)
        }

### 注意： ###

Dataset在需要访问列中的某个字段时是非常方便的，但是：如果要写一些适**配性很强的函数时**，如果使用Dataset，行的类型又不确定，可能是各种case class，无法实现适配，这时候用DataFrame即Dataset\[Row\]就能比较好的解决问题