SparkSQL专题1 ~ 造数

╰半橙微兮° 2022-08-29 10:26 176阅读 0赞

## 前言 ##

记 录 本 人 使 用 S p a r k S q l 历 程 。 以 前 主 要 是 用 M Y S Q L 居 多 ， 且 底 层 基 本 依 赖 于 M y b a t i s ， S Q L 编 写 能 力 较 弱 \\color\{red\} 记录本人使用SparkSql历程。以前主要是用MYSQL居多，且底层基本依赖于Mybatis，SQL编写能力较弱 记录本人使用SparkSql历程。以前主要是用MYSQL居多，且底层基本依赖于Mybatis，SQL编写能力较弱  
 最 近 开 始 使 用 S p a r k S Q L 进 行 各 种 各 样 S Q L 的 需 求 开 发 \\color\{red\} 最近开始使用Spark SQL进行各种各样SQL的需求开发 最近开始使用SparkSQL进行各种各样SQL的需求开发  
 本 人 是 S p a r k S Q L 小 白 ， 分 享 S p a r k S Q L 系 列 文 章 内 容 比 较 简 单 ， 高 手 请 绕 道 \\color\{red\}本人是Spark SQL小白，分享SparkSQL系列文章内容比较简单，高手请绕道 本人是SparkSQL小白，分享SparkSQL系列文章内容比较简单，高手请绕道

推荐翻阅SparkSQL函数手册，https://spark.apache.org/docs/latest/api/sql/index.html  
第一次接触SparkSQL时，就是通过SparkSQL函数手册学习，函数手册非常的好，但是知识缺乏限制自己的想象力，没有这个概念就很难去找相应的函数，例如单条数据的某个字段存储的是数组对象，将其展开，由一条变成多条，直接用滑窗函数即可。  
在后续的文章中，会通过一个个的案例，实际的业务需求，将函数慢慢普及

## 普通一行数据 ##

select
    '20210730' as date_time, 10086 as merchandise_no, 1008611 as mer_item_no, 'barcode10086' as barcode
    , 'osn10086' as osn, 'goods_no10086' as goods_no, 'first_dep_of_owner10086' as first_dep_of_owner;

![在这里插入图片描述][c76939944f2a4b1fb48c2c88736962cc.png]

## 数组 ##

select Array(2,3,4)

![在这里插入图片描述][d0307b0addad4406963d35738b3c15f4.png]

## key - value 形式 ##

SELECT named_struct("a", 1, "b", 2, "c", 3);

SELECT named_struct('begin_time', timestamp('2021-06-18T10:00:00'), 'end_time', timestamp('2021-06-20T10:00:00'));

![在这里插入图片描述][ed47445b0d494e0ea7a8313922443aae.png]

## 数组对象 ##

select ARRAY(
    		named_struct('mer_item_no', 2345678, 'market_price', 300, 'vipshop_price', 100, 'vipshop_start_time', timestamp('2021-06-17T10:00:00'), 'vipshop_end_time', timestamp('2021-06-21T10:00:00'), 'is_deleted',0), 
    		named_struct('mer_item_no', 2345678, 'market_price', 280, 'vipshop_price', 100, 'vipshop_start_time', timestamp('2021-06-21T10:00:00'), 'vipshop_end_time', timestamp('2021-06-23T20:00:00'), 'is_deleted',0), 
    		named_struct('mer_item_no', 2345678, 'market_price', 280, 'vipshop_price', 120, 'vipshop_start_time', timestamp('2021-06-23T10:00:00'), 'vipshop_end_time', timestamp('2038-01-23T20:00:00'), 'is_deleted',0)
    ) ;

![在这里插入图片描述][8ef7519efd0047a6812bcb9050bfd086.png]

## JSON对象 ##

select to_json(
    	named_struct('mer_item_no', 2345678, 'market_price', 300, 'vipshop_price', 100, 'vipshop_start_time', timestamp('2021-06-17T10:00:00'), 'vipshop_end_time', timestamp('2021-06-21T10:00:00'), 'is_deleted',0)
    )

![在这里插入图片描述][d8127333b4e84ad1a797b28c2cc52c9a.png]

## JSON数组对象 ##

select to_json(ARRAY(
    		named_struct('mer_item_no', 2345678, 'market_price', 300, 'vipshop_price', 100, 'vipshop_start_time', timestamp('2021-06-17T10:00:00'), 'vipshop_end_time', timestamp('2021-06-21T10:00:00'), 'is_deleted',0)，
    		named_struct('mer_item_no', 2345678, 'market_price', 300, 'vipshop_price', 100, 'vipshop_start_time', timestamp('2021-06-17T10:00:00'), 'vipshop_end_time', timestamp('2021-06-21T10:00:00'), 'is_deleted',0)
    ));

![在这里插入图片描述][063e817402504dd18f972967cdf95bd8.png]

## 总结 ##

知 道 的 越 多 ， 不 知 道 的 越 多 ， 希 望 对 你 有 帮 助 ！ \\color\{red\}知道的越多，不知道的越多，希望对你有帮助！ 知道的越多，不知道的越多，希望对你有帮助！

[c76939944f2a4b1fb48c2c88736962cc.png]: /images/20220829/852b1c0ddb674f938b3cd3649be11755.png
[d0307b0addad4406963d35738b3c15f4.png]: /images/20220829/ef8ce437785c4e208491523485076e7e.png
[ed47445b0d494e0ea7a8313922443aae.png]: /images/20220829/113b397efc6e45398cd36b70a1dda785.png
[8ef7519efd0047a6812bcb9050bfd086.png]: /images/20220829/776f5e1a594243c7b7f406a6a5129373.png
[d8127333b4e84ad1a797b28c2cc52c9a.png]: /images/20220829/630eaca7aee344d292e904d18e9589b4.png
[063e817402504dd18f972967cdf95bd8.png]: /images/20220829/b464f7f68ade4b29801fafd0108e4b5b.png