十四.Spark SQL总结之spark日志文件数据格式的转换

深碍√TFBOYSˉ_ 2022-04-22 04:04 129阅读 0赞

**第一步.数据源**  
找到spark的日志数据源,在/root/spark/spark-2.0.2-bin-hadoop2.7/logs目录下:  
![在这里插入图片描述][2018110208512739.png]  
通过对文件的读取,统计其中数据的条数:

val masterLog = sc.textFile("file:///root/spark/spark-2.0.2-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-hadoop000.out")
    
    val workLog =  sc.textFile("file:///root/spark/spark-2.0.2-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-hadoop000.out")
    
    val allLog =  sc.textFile("file:///root/spark/spark-2.0.2-bin-hadoop2.7/logs/*out*")

结果显示:  
![在这里插入图片描述][20181102090017794.png]

**第二步.将读取的数据源转换成DataFrame**

方式一(通过schema然后再转DataFrame)

import org.apache.spark.sql.Row
    val masterRDD = masterLog.map(x => Row(x))
    import org.apache.spark.sql.types._
    val schemaString = "line"
    val fields = schemaString.split(" ").map(fieldName => StructField(fieldName,StringType,nullable = true))
    val schema = StructType(fields)
    val masterDF = spark.createDataFrame(masterRDD,schema)
    masterDF.show

![在这里插入图片描述][20181102090815538.png]

因为显示的数据部分隐藏了,如果不想隐藏需要使用下面的命令进行显示:

masterDF.show(false)

显示的结果:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70]

方式二(通过sql的方式获取数据)

scala> masterDF.createOrReplaceTempView("master_logs")
    
    scala> spark.sql("select * from master_logs limit 10").show(false)

显示结果:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70 1]

**第三步.parquet格式的文件转换成DataFrame类型的数据**

方式一.以读取文件的形式

val userDF = spark.read.format("parquet").load("file:///root/spark/spark-2.0.2-bin-hadoop2.7/examples/src/main/resources/users.parquet")
    userDF.show

![在这里插入图片描述][20181102093636924.png]

方式二.以sql的形式读取parquet类型的文件

val userDF = spark.sql("select * from parquet.`file:///root/spark/spark-2.0.2-bin-hadoop2.7/examples/src/main/resources/users.parquet`")
    userDF.show

![在这里插入图片描述][20181102093650369.png]

**第四步.拓展**

1.  读取HDFS中的数据:

val hdfsDF = sc.textFile("hdfs://path/file路径")

2)读取正常的文件:

val dataDF = spark.read.format("txt").load("文件路径")

以上就是关于读取外部数据源的各种形式…

每天的疲劳换来的是美好的未来,笑着面对每一天。

[2018110208512739.png]: /images/20220422/b6454092910340ca840ee36d0b70fc0a.png
[20181102090017794.png]: /images/20220422/ea97d5ccbfc24104a3f6a0742ca05b3e.png
[20181102090815538.png]: /images/20220422/20c1abbb76c5446e9ed6ac8780907393.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70]: /images/20220422/655a0db5f0724b219cfe4c641ac8d2e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70 1]: /images/20220422/ebe617a2131c474290150b545bc129fe.png
[20181102093636924.png]: /images/20220422/1dd5b0c09a184958a8469803d09c3197.png
[20181102093650369.png]: /images/20220422/6de24b422bfe406f954cf079d0c8a44e.png