交互式SQL查询引擎——Impala

小鱼儿 2022-12-01 12:24 251阅读 0赞

# 一、什么是Impala #

Impala是Cloudera公司推出的，提供对HDFS、HBase数据的高性能、低延迟的交互式SQL查询功能，与Hive（底层使用MR引擎）相比，具备更快的处理速度。

## 1、组件特性 ##

（1）基于内存进行计算，能够对PB级数据进行交互式实时查询、分析

（2）无需通过MR，直接与HDFS和HBase交互

（3）兼容HiveSQL，支持Hive基本查询操作

（4）具有数据仓库特性，可对hive数据直接做数据分析

（5）支持Data Local数据本地化，减少网络数据传输

（6）基于C++编写，LLVM统一编译运行

## 2、组织架构 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70][]

**Statestore Daemon：**负责跟踪分布在集群中各个Impalad进程的健康状态及位置信息，通过创建多个线程来处理Impalad的注册订阅与各Impalad保持心跳连接；

**Catalog Daemon（CLI）：**提供给用户查询使用的命令行工具，同时提供Hue、JDBC、ODBC使用接口；

**Impala Daemon（Impalad）：**负责接收客户端提交的查询任务的执行，与HDFS的数据节点运行在同一节点上。

Impala的查询处理流程：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70 1][]

服务器启动后，Impalad通过注册&订阅与StateStore保持心跳。首先Impala节点将自己的状态信息汇报给StateStore，StateStore实时监控Impalad是否发生故障。然后Catalog与Hive进行通信，拉取Hive中MetaStore的元数据信息，并广播到每个状态良好的Impalad节点上，使各节点上的元数据保持一致。最后，当Client提交SQL请求时，直接作用在Impalad。

Client提交更新操作，当Impalad执行完毕后，Impalad向StateStore发送元数据，StateStore将接收到的元数据推送给Catalog，Catalog将所有接收到的元数据进行汇总后，广播给每个Impalad，之后发送给MetaStore。

## 3、Hive与Impala对比 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70 2][]

Hive与Impala使用相同的存储数据池，都将数据存储于HDFS，HBase，区别于Hive执行查询操作依赖于MR框架，Impala可以直接与数据进行交互。

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:106.35pt;"> &nbsp; </td> 
 <td style="vertical-align:top;width:148.55pt;"> Hive </td> 
 <td style="vertical-align:top;width:159.9pt;"> Impala </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:106.35pt;"> 使用场景 </td> 
 <td style="vertical-align:top;width:148.55pt;"> 批处理 </td> 
 <td style="vertical-align:top;width:159.9pt;"> 实时交互 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:106.35pt;"> 计算方式 </td> 
 <td style="vertical-align:top;width:148.55pt;"> 依赖于MR框架 </td> 
 <td style="vertical-align:top;width:159.9pt;"> Impalad直接执行 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:106.35pt;"> 资源使用情况 </td> 
 <td style="vertical-align:top;width:148.55pt;"> 内存+外存 </td> 
 <td style="vertical-align:top;width:159.9pt;"> 只用内存 </td> 
 </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70]: /images/20221123/a92beca5963843eba5896079b293998d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70 1]: /images/20221123/586b0602410a4b0889ded61902be21cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70 2]: /images/20221123/96faed8a30b140c194d0b2990884fa26.png