Spark 的DataFrame常用操作之DSL的风格语法

向右看齐 2023-02-12 07:27 9阅读 0赞

DataFrame提供了一个领域特定语言(DSL)来操作结构化数据。文章的personDF参考前文：[Spark SQL 结构化数据文件处理 详解][Spark SQL _]

1、查看DataFrame当中的数据

查看DataFrame中的内容，通过调用show方法

personDF.show

![在这里插入图片描述][202005251604265.png]  
2、查看DataFram当中部分字段的数据

第一种方式查看name字段数据：查看name字段的数据

personDF.select(personDF.col("name")).show

![在这里插入图片描述][20200525160503233.png]  
第二种方式查看name字段数据：查看name字段的另一种写法

personDF.select("name").show

![在这里插入图片描述][20200525160534410.png]  
第三种方式查看name和age字段数据

personDF.select(col("name"),col("age")).show

![在这里插入图片描述][20200525160608118.png]  
第四种方式查看字段数据：查看name和age的数据字段  
通过 $ 来进行scala当中字符串的引用，可以使用 $ 来进行字段操作

personDF.select($"name",$"age").show

![在这里插入图片描述][20200525160729943.png]  
3、打印DataFrame的Schema信息

personDF.printSchema

4、查询所有的name和age，并将age+1

personDF.select(col("id"), col("name"), col("age") + 1).show

或者：

personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70]  
5、过滤age大于等于25的，使用filter方法过滤

personDF.filter(col("age") >= 25).show

![在这里插入图片描述][2020052516084919.png]  
6、统计年龄大于30的人数

personDF.filter(col("age")>30).count()

![在这里插入图片描述][20200525160920350.png]  
7、按年龄进行分组并统计相同年龄的人数

personDF.groupBy("age").count().show

![在这里插入图片描述][20200525161002376.png]

[Spark SQL _]: https://blog.csdn.net/qq_44973159/article/details/106325796
[202005251604265.png]: https://img-blog.csdnimg.cn/202005251604265.png
[20200525160503233.png]: https://img-blog.csdnimg.cn/20200525160503233.png
[20200525160534410.png]: https://img-blog.csdnimg.cn/20200525160534410.png
[20200525160608118.png]: https://img-blog.csdnimg.cn/20200525160608118.png
[20200525160729943.png]: https://img-blog.csdnimg.cn/20200525160729943.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200525160811589.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5,size_16,color_FFFFFF,t_70
[2020052516084919.png]: https://img-blog.csdnimg.cn/2020052516084919.png
[20200525160920350.png]: https://img-blog.csdnimg.cn/20200525160920350.png
[20200525161002376.png]: https://img-blog.csdnimg.cn/20200525161002376.png