pig vs hive

末蓝、 2022-07-12 07:34 152阅读 0赞

# 1、概念 #

[**一、什么是Hive？**][Hive]

Hive可以看做是SQL到Mapreduce的一个映射器，就是不用开发Mapreduce，只要懂SQL就可以了，HiveQL是标准SQL92的一个子集，和标准的SQL并不完全一样，HiveQL本身有百分之二十的一个扩展，大概百分之八十的语法和标准的SQL是一致的，所以对于数据分析人员来讲，就可以很方便的切入到Hadoop的平台上去做数据分析。

[**二、什么是Pig？**][Hive]

Pig是处理大数据集的数据流语言。什么是数据流呢？就是处理数据的流程可以一步步定义，比如第一步加载，第二步转换，第三步再转换，第四步存储，可以一步步定义数据的走向，很类似我们在数据挖掘中进行的系列处理流程。因为pig是数据流的语言，所以很适合做物质的数据探索和ETL阶段数据的非处理，他和Spark的思想很相似，所以也可以说Spark是实现正确的Pig。

# 2、区别 #

**流类型：**  
Pig是过程式数据流语言。过程式语言通常按照一步一步的执行方式去编写，你能够控制和优化每一步。  
Hive更像sql，因此，它是声明式语言，你要指定需要做什么而不是怎么做。Hive依靠自己的优化器，因此hive中优化是比较难的。  
**易用性：**  
Pig拥有新而不同的语法，需要额外的时间去学习。  
Hive更像sql，开发者会更兴奋的去使用hive.  
一般场景：  
推荐[程序开发][Link 1]者使用Pig。主要原因是它计算高效，当你的查询有大量的join和filter时，pig更合适。  
Hive更多的用于分析，它遵循Hadoop和DatawareHouse一些规则。一般更倾向使用Hive产生报表。如果你的查询join和filters比较少可以继续使用Hive，相反，如果查询拥有很多join，Hive的性能也许会降低。

**数据类型：**  
Pig能高效处理结构化和非结构化数据。  
Hive能高效的处理结构化数据。

**中间层：**  
Pig使用变量表示数据，当要存储中间结果，可以很容易的用变量存起来并在以后引用。  
Hive使用表表示数据，存储中间结果比较困难，需要创建一个表，并从其他的表插入进去。因此，呈现一个复杂的查询时，可能需要几百行的代码。

**调试方式：**  
Pig可以使用本地模式调试。  
Hive使用本来模式调试比较复杂并且很费时。

**扩展性：**  
Pig中UDF很容易。  
Hive中UDF相对麻烦。

**维护性：**  
Pig比Hive差一点。  
Hive比较简单。

**持久性：**  
Pig中可能不会保留变量的值，每一次你都需要重新执行pig代码重新获取变量值。  
Hive中即使退出当前会话外部表依然存在，因为外部表依然指向HDFS文件。

**开发时间：**  
pig开发需要更多的时间，更多的依赖对pig的熟悉度。  
SQL语句，开发时间很少。

**兼容性：**  
RDBMS与Pig兼容有点复杂，因为pig的语法完全不同。  
大部分在RDBMS中的sql可以在Hive中执行，只有少数需要修改。

**数据量**：  
Pig处理大数据很高效。  
Hive有时会内存泄露和不靠谱的性能，然而，有一些参数可以进行调整和定位问题

# 3、新的系统理论和产品 #

**Impala**

Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。Impala最开始是参照 Dremel系统进行设计的Impala最开始是参照 Dremel系统进行设计的

**Google Dremel：**

Google Dremel 原理 - 如何能3秒分析1PB

### [http://www.yankay.com/google-dremel-rationale/][http_www.yankay.com_google-dremel-rationale] ###

**Dremel的开源实现**

OpenDremel/Dazo  
OpenDremel是一个开源项目，最近改名为Dazo。可以在GoogleCode上找到http://code.google.com/p/dremel/。目前还没有发布。作者声称他已经完成了一个通用执行引擎和OpenStack Swift的集成。笔者感觉其越走越歪，离Dremel越来越远了。

Apache Drill  
Drill 是Hadoop的赞助商之一MapR发起的。Drill作为一个Dremel的山寨项目，有和Dremel相似的架构和能力。他们希望Drill最终会想Hive,Pig一样成为Hadoop上的重要组成部分。为Hadoop提供快速查询的能力。和Dremel有一点不同，在数据模型上，开源的项目需要支持更标准的数据结构。比如CSV和JSON。同时Drill还有更大的灵活性，支持多重查询语言，多种接口。

**Presto：[http://prestodb-china.com/][http_prestodb-china.com]**

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。领先的互联网公司包括Airbnb和Dropbox都在使用Presto

# 4、按照应用场景区分大数据产品 #

从问题域出发认识Hadoop生态系统从问题域出发认识Hadoop生态系统

（1）实时应用场景(0~5s)：Storm、S4、Cloudera Impala，Apache Drill等；  
（2）交互式场景（5s~1m）：这种场景通常能要求必须支持SQL，则可行系统有：Cloudera Impala、Apache Drill、Shark等；  
（3）非交互式场景（1m~1h）：通常运行时间较长，处理数据量较大，对容错性和扩展性要求较高，可行系统有：MapReduce、Hive、Pig、Stinger等；  
（4）批处理场景（1h+）：通常运行时间很长，处理数据量很大，对容错性和扩展性要求很高，可行系统有：MapReduce、Hive、Pig、Stinger等。

本段引用[http://dongxicheng.org/mapreduce-nextgen/rethinking-hadoop-from-problems-solved/][http_dongxicheng.org_mapreduce-nextgen_rethinking-hadoop-from-problems-solved]

[Hive]: http://www.dashujuedu.com/course/335
[Link 1]: http://www.2cto.com/kf
[http_www.yankay.com_google-dremel-rationale]: http://www.yankay.com/google-dremel-rationale/
[http_prestodb-china.com]: http://prestodb-china.com/
[http_dongxicheng.org_mapreduce-nextgen_rethinking-hadoop-from-problems-solved]: http://dongxicheng.org/mapreduce-nextgen/rethinking-hadoop-from-problems-solved/