spark程序Scala脚本使用fastJson解析JSON格式数据

小咪咪 2022-10-05 14:53 230阅读 0赞

源数据样式

![20210609191044748.png][]

\{"name":"Michael","sex":1\}  
\{"name":"Andy", "age":30,"sex":2\}  
\{"name":"Justin", "age":19\}

解析后为map键值对

![20210609191123933.png][]

代码如下：

# 1. pom.xml  引入依赖： #

/*for json*/
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.47</version>
    </dependency>

ps：注意最后的 version 参数可能会变化，输入1.2. 然后系统会自动提示可用版本

编写完pom.xml文件后，Ctrl + shift + o   会自动下载依赖

# 2.Scala代码如下： #

import org.apache.spark.{SparkConf, SparkContext}
    import com.alibaba.fastjson.JSON
    
    object JsonTest {
      def main(args: Array[String]): Unit = {
    
        val conf = new SparkConf().setMaster("local[*]").setAppName("jsonTestApp")
        val sc = new SparkContext(conf)
    
    //读取JSON数据文件
        val sourceText = sc.textFile("" +
          "file:///D:\\doc\\spark\\input/people.json")
       
    //把使用parseObject 把JSON转为 JSON对象，选传参为 String text 的
    
        val rdd2 = sourceText.map(s => JSON.parseObject(s.toString))
    
    //获取JSON对象的key value
        val rdd3 = rdd2.map(item => ((item.put("name", ""),(item.put("age", "")),(item.put("sex","")))))
    
        rdd3.foreach(println(_))
    
      }
    
    }

输出：

![20210609191802940.png][]

[20210609191044748.png]: /images/20221005/bbcd15d52f69498cac084f623e6bdbfe.png
[20210609191123933.png]: /images/20221005/2016ec8369b049c39ec8ab4017b6e8d1.png
[20210609191802940.png]: /images/20221005/a1afd3f6fb6948d68df2aad97c290913.png

发表评论取消回复

表情：

评论列表（有 0 条评论，230人围观）

还没有评论，来说两句吧...

相关阅读

相关 SpringBoot中使用FastJson解析Json数据

场景 1.SpringBoot默认配置的是Jackson。 2.项目搭建专栏： [https://blog.csdn.net/BADAO\_LIUMANG\_QIZH

清疚/ 2023年10月18日 16:27/ 0 赞/ 136 阅读

相关 Scala中使用fastJson 解析json字符串

Scala中使用fastJson 解析json字符串添加依赖 2.解析json字符 2.1可以通过JSON中的parseObject方法，把js

蔚落/ 2022年10月10日 15:59/ 0 赞/ 367 阅读

相关 spark程序Scala脚本使用fastJson解析JSON格式数据

源数据样式 ![20210609191044748.png][] \{"name":"Michael","sex":1\} \{"name":"Andy", "age"

小咪咪/ 2022年10月05日 14:53/ 0 赞/ 231 阅读

相关 FastJson生成和解析JSON数据

生成和解析JSON数据格式的包有很多种：Gson、json-smart、FastJson、jackjson等，FastJson是一个阿里巴巴的大神开发的开源的Json处

分手后的思念是犯贱/ 2022年08月06日 00:10/ 0 赞/ 271 阅读

相关 GSON解析Json格式数据

文章转自：[http://www.cnblogs.com/jiayongji/p/5297187.html][http_www.cnblogs.com_jiayongji_p_

待我称王封你为后i/ 2022年06月01日 20:40/ 0 赞/ 336 阅读

相关 Spring Boot 使用FastJson解析JSON数据

Spring Boot默认是使用Jackson解析JSON数据。我平时习惯使用阿里的FastJson，所以这里替换一下。引入FastJson依赖 <depend

柔情只为你懂/ 2022年05月29日 13:26/ 0 赞/ 267 阅读

相关 springboot使用fastjson解析json数据

1.spring boot默认使用的json解析框架是jackson,使用fastjson需要配置，首先引入fastjson依赖 pom.xml配置如下： <p

骑猪看日落/ 2022年05月24日 13:20/ 0 赞/ 244 阅读

相关在Scala中使用fastJson 解析json字符串

一、阿里巴巴FastJson是一个Json处理工具包，包括“序列化”和“反序列化”两部分，它具备如下特征：速度最快，测试表明，fastjson具有极快的性能，超越任其他的

骑猪看日落/ 2022年01月05日 09:09/ 0 赞/ 458 阅读

相关用fastjson解析嵌套json数据

json数据类似： 1. \{ 2. "code": 0, 3. "data": \{ 4. "city": \{ 5. "cityId": 284609, 6.

爱被打了一巴掌/ 2021年09月15日 16:18/ 0 赞/ 686 阅读

相关用fastjson解析嵌套json数据

1. json数据类似： 1. \{ 2. "code": 0, 3.

柔情只为你懂/ 2021年09月15日 16:18/ 0 赞/ 485 阅读