Hive、SparkSQL区别与联系：【SparkSQL集成了HiveSQL】【Spark通过sparkSQL使用HiveSQL语句操作Hive表】

清疚 2023-10-08 19:02 51阅读 0赞

### 一、SparkSQL和[Hive][]对比 ###

![在这里插入图片描述][95bbf42e4b5f40f3a901a192a36ff348.png_pic_center]

### 二、HiveSQL和SparkSQL的对比 ###

sql生成mapreduce程序必要的过程：解析（Parser）、优化（Optimizer）、执行（Execution）  
![在这里插入图片描述][00807fee6b63452f93cea12e658ae30d.png_pic_center]

### 三、[spark][]、hive on spark、spark on hive三者的比较 ###

**Hive引擎包括：默认MR、tez、spark**

**Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。**

**Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。**

### **1、spark on hive**  ###

hive只作为存储角色，spark 负责sql解析优化，底层运行的还是sparkRDD

具体可以理解为spark通过sparkSQL使用hive语句操作hive表，底层运行的还是sparkRDD，

步骤如下：

1.通过sparkSQL，加载Hive的配置文件，获取Hive的元数据信息

2.获取到Hive的元数据信息之后可以拿到Hive表的数据

3.通过sparkSQL来操作Hive表中的数据

### **2、hive on spark** ###

hive既作为存储又负责sql的解析优化，spark负责执行

这里Hive的执行引擎变成了spark，不再是MR。

这个实现较为麻烦，必须重新编译spark并导入相关jar包

**目前大部分使用spark on hive**

[HiveSQL和SparkSQL的区别和联系\_sparksql和hivesql的区别\_万里长江横渡的博客-CSDN博客][HiveSQL_SparkSQL_sparksql_hivesql_-CSDN]

[Hive]: https://so.csdn.net/so/search?q=Hive&spm=1001.2101.3001.7020
[95bbf42e4b5f40f3a901a192a36ff348.png_pic_center]: https://img-blog.csdnimg.cn/95bbf42e4b5f40f3a901a192a36ff348.png#pic_center
[00807fee6b63452f93cea12e658ae30d.png_pic_center]: https://img-blog.csdnimg.cn/00807fee6b63452f93cea12e658ae30d.png#pic_center
[spark]: https://so.csdn.net/so/search?q=spark&spm=1001.2101.3001.7020
[HiveSQL_SparkSQL_sparksql_hivesql_-CSDN]: https://blog.csdn.net/weixin_44870066/article/details/125457965