DataFrame, DataSet与RDD的区别, DataFrame与DatSet相互转换, 如何创建DataSet 24

今天药忘吃喽~ 2023-08-17 16:45 160阅读 0赞

# 1. 什么是DataSet #

*  DataSet是分布式的数据集合，Dataset提供了强类型支持，也是在RDD的每行数据加了类型约束。
 *  DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了**Spark SQL优化**的**执行引擎**。
 *  DataSet可以通过JVM的对象进行构建，可以用函数式的转换（map/flatmap/filter）进行多种操作。

# 2. DataFrame、DataSet、RDD的区别 #

*  假如RDD的两行数据是如下的样子.  
    ![在这里插入图片描述][20190929141659396.png]
 *  DataFrame是如下的样子  
    ![在这里插入图片描述][20190929141731717.png]
 *  那么DataSet长得如下这个样子(每行数据是一个String)  
    ![在这里插入图片描述][20190929141835355.png]  
    或者是如下这种样子(每行数据是一个object)  
    ![在这里插入图片描述][2019092914192985.png]  
    **DateSet包含DataFrame的功能,Spark2.0后两者功能统一, DataFrame表现为DataSet\[Row\],也就是DataFrame是DataSet的子集.**
    
     *  DataSet在编译时就能检查出错误, 这个功能能够大大省去一部分时间, 因为**DataFrame无法检查出编译错误,而提交一次任务到集群太费劲(编译,打包,上传,运行),这样只有提交到集群上才能知道是否正确.所以这也是引入DataSet的一个重要原因.**
     *  DataSet是面向对象的风格.

# 3. DataFrame和DataSet如何相互转换 #

*  DataFrame转为 DataSet  
    **df.as\[ElementType\]** 这样可以把DataFrame转化为DataSet。
 *  DataSet转为DataFrame  
    **ds.toDF()** 这样可以把DataSet转化为DataFrame。

# 4. 创建DataSet #

*  通过Spark.createDataSet创建  
    ![在这里插入图片描述][20190929144118433.png]  
    ![在这里插入图片描述][20190929144146101.png]
 *  通toDS方法生成DataSet  
    ![在这里插入图片描述][20190929144226816.png]
 *  通过DataFrame转化生成,**使用as\[类型\]转换为DataSet**  
    ![在这里插入图片描述][20190929144307897.png]

[20190929141659396.png]: /images/20230809/659c8192e20c4027ae2a065baa001776.png
[20190929141731717.png]: /images/20230809/517c1759f4784b8092a9125d36ad5832.png
[20190929141835355.png]: /images/20230809/d2ac31ec23b6450eb9f8e15079a4fa49.png
[2019092914192985.png]: /images/20230809/b12a3d12165142e8ba1d9f5881dd8984.png
[20190929144118433.png]: /images/20230809/4050b21edfdd4406a11a10eeff33374f.png
[20190929144146101.png]: /images/20230809/f300a9983fdc4f0da7901e1f156ee7ce.png
[20190929144226816.png]: /images/20230809/7c664cca77d04a5b808795c060372068.png
[20190929144307897.png]: /images/20230809/62bf048d481446eaa7366bbb8149d2c0.png