六.SparkSQL之DataFrame操作实例实战API

红太狼 2022-05-08 10:54 244阅读 0赞

前面已经说过DataFrame的基本API操作,接下来就讲下实际开发过程中的应用,首先需要准备一个数据源文件,以下面这种格式的数据(这种数据是可以清洗日志得到的)  
![在这里插入图片描述][70]

**第一步: 实例实战演示**

import org.apache.spark.sql.SparkSession  
object DataFrameCase \{

def main(args: Array\[String\])\{

val spark = SparkSession.builder().master("local[2]").appName("DataFrameCase").getOrCreate()
    
    val rdd =spark.sparkContext.textFile("student.data")
    
    //导入隐式转换函数
    import spark.implicits._
    //转换成DataFrame  要加上转义字符 \\ ,因为有一些特殊字符没有转义字符的话不识别
    val student = rdd.map(_.split("\\|")).map(line => Student(line(0).toInt,line(1),line(2),line(3))).toDF()
    //student2为了测试join方法
    val student2 = rdd.map(_.split("\\|")).map(line => Student(line(0).toInt,line(1),line(2),line(3))).toDF()

> **student.show()**  
> ![在这里插入图片描述][70 1]

> //使用show方法,默认显示的是前20条,如果想看到更多需要在方法中加入Int类型的参数,  
> //同时,该方法在展示数据的时候有截取的功能,长度过长会显示…  
> //因此,想要显示全部的话需要加上一个false参数,因为默认的是true就是截取  
> student.show(30,false)  
> ![在这里插入图片描述][70 2]

//显示数据的前10行数据
    student.take(10)
    //显示第一条数据 等同于 student.head(3)(显示前三条数据)
    student.first()
    //过滤掉名字为空的数据
    student.filter("name !='' OR name != 'NULL' " ).show

![在这里插入图片描述][70 3]

> //找出名字以l开头的人  
> student.filter(“SUBSTR(name,0,1)=‘l’”).show()  
> ![在这里插入图片描述][70 4]

> //查询所有的内置函数  
> spark.sql(“show functions”).show(1000)  
> ![在这里插入图片描述][70 5]

//按照名字排序操作
    student.sort(student.col("name"))
    //按照名字降序进行排列
    student.sort(student.col("name").desc)

> //队列进行重新命名  
> student.select(student(“name”).as(“student\_name”)).show()  
> ![在这里插入图片描述][70 6]  
> //join操作  
> student.join(student2,student.col(“id”) === student2.col(“id”)).show()  
> ![在这里插入图片描述][70 7]  
> spark.stop()  
> \}  
> case class Student(id: Int,name: String, phone: String, email: String )  
> \}

[70]: /images/20220508/11bce537439b45409caef6f7a6bedb65.png
[70 1]: /images/20220508/dfacf4f4375b4b8198f9534b7753f935.png
[70 2]: /images/20220508/549e8acd54b34dc6ad5c6d405baadc25.png
[70 3]: /images/20220508/16b177a3c9e0404b99c98f6e2812067a.png
[70 4]: /images/20220508/e9e0715a7c0a4967a8b8b908bd872c9d.png
[70 5]: /images/20220508/3693fc78214247b8ae48b76f60d3976d.png
[70 6]: /images/20220508/e219f45c2f4b4104afa08c1e535bc684.png
[70 7]: /images/20220508/9a667022adbb47bd9249ba215b63b84f.png