Spark系列--SparkSQL(一)SparkSQL简介

蔚落 2022-05-19 05:13 373阅读 0赞

## 一、SparkSQL简介 ##

### 1、简介 ###

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。

我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

### 2、特征 ###

**(1) 集成**

将SQL查询与Spark程序无缝对接。

Spark SQL允许您使用SQL或熟悉的DataFrame API查询Spark程序内的结构化数据。 可用于Java，Scala，Python和R.

**(2) 统一的数据访问**

以同样的方式连接到任何数据源。

DataFrames和SQL提供了访问各种数据源的常用方式，包括Hive，Avro，Parquet，ORC，JSON和JDBC。 您甚至可以通过这些来源加入数据。

**(3) Hive集成**

在现有仓库上运行SQL或HiveQL查询。

Spark SQL支持HiveQL语法以及Hive SerDes和UDF，允许您访问现有的Hive仓库。

**(4) 标准连接**

通过JDBC或ODBC连接。

服务器模式为商业智能工具提供行业标准的JDBC和ODBC连接。

### 3、为什么会引入SparkSQL？ ###

在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应用而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是，MapReduce在计算过程中大量的中间磁盘落地过程消耗了大量的磁盘I/O，降低了运行效率。

为了提高SQL-on-Hadoop的效率，大量的SQL-on-Hadoop工具开始产生，其中表现突出的有一个叫做Shark的工具。Shark运行在Spark引擎上，从而使得SQL的查询速度得到了10-100倍的提升。

但是，随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等），制约了Spark的One Stack rule them all的既定方针，制约了Spark各个组件的相互集成，所以才有了SparkSQL。

![Spark集成图][Spark]

SparkSQL可以看做是一个转换层，向下对接各种不同的结构化数据源，向上提供不同的数据访问方式。

[Spark]: /images/20220519/33793b051c2f475e968f40b03f752eb6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，373人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL (一) --------- SparkSQL 概述

目录一、SparkSQL 是什么 ? 二、Hive and SparkSQL 三、SparkSQL 特点四、DataFrame 是什么?

た入场券/ 2024年04月07日 12:11/ 0 赞/ 88 阅读

相关 SparkSQL（一）：概述

文章目录一、Hive 和 SparkSQL 二、SparkSQL 的特点三、DataFrame 简介四、DataSet 简介 > Spar

不念不忘少年蓝@/ 2022年11月21日 01:09/ 0 赞/ 232 阅读

相关 spark系列14：sparksql入门与介绍使用

1. SparkSQL 是什么目标对于一件事的理解, 应该分为两个大部分, 第一, 它是什么, 第二, 它解决了什么问题 1. 理解为什么会有 `SparkSQ

r囧r小猫/ 2022年10月23日 03:56/ 0 赞/ 35 阅读

相关 Spark系列--SparkSQL(六)数据源

前言 SparkSQL的数据源：结构化的文件（json，parquet），或者是Hive的表，或者是外部的数据库（mysql），也或者是已经存在的RDD。 Spark

梦里梦外;/ 2022年05月19日 10:13/ 0 赞/ 245 阅读

相关 Spark系列--SparkSQL(五)用户自定义函数

一、用户自定义UDF函数通过spark.udf功能用户可以自定义函数。 scala> val df = spark.read.json("/input/peo

骑猪看日落/ 2022年05月19日 09:05/ 0 赞/ 283 阅读

相关 Spark系列--SparkSQL(三)执行SparkSQL查询

前言 SparkSession > 在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫Hiv

叁歲伎倆/ 2022年05月19日 08:15/ 0 赞/ 514 阅读

相关 Spark系列--SparkSQL(二)RDD、DataFrame、DataSet

前言在SparkCore中我们知道数据抽象是RDD，在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么

一时失言乱红尘/ 2022年05月19日 05:16/ 0 赞/ 247 阅读

相关 Spark系列--SparkSQL(一)SparkSQL简介

一、SparkSQL简介 1、简介 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引

蔚落/ 2022年05月19日 05:13/ 0 赞/ 374 阅读

相关 Spark之SparkSQL理论篇

Spark SQL 理论学习：简介 ![20190530191139.png][] Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽

桃扇骨/ 2022年01月23日 03:09/ 0 赞/ 408 阅读

相关 Spark之SparkSQL实战

DataFrames 基本操作和 DSL SQL风格 UDF函数以及数据源： SparkSQL查询 Json数据准备 <table> <tbody> <

布满荆棘的人生/ 2022年01月23日 03:03/ 0 赞/ 424 阅读