Hive严格模式

本是古典何须时尚 2022-06-07 03:09 231阅读 0赞

**Hive严格模式**

Hive提供了一个严格模式，可以防止用户执行那些可能产生意向不到的不好的效果的查询。说通俗一点就是这种模式可以阻止某些查询的执行。通过如下语句设置严格模式：

**\[java\]**  [view plain][]   [copy][view plain]

1.  hive> set hive.mapred.mode=strict;

**设置为严格模式后，可以禁止3种类型的查询：**

**(1)：带有分区的表的查询**

如果在一个分区表执行hive，除非where语句中包含分区字段过滤条件来显示数据范围，否则不允许执行。换句话说就是在严格模式下不允许用户扫描所有的分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。如果不进行分区限制的查询会消耗巨大的资源来处理，如下不带分区的查询语句：

**\[java\]**  [view plain][]   [copy][view plain]

1.  hive> SELECT DISTINCT(planner\_id) FROM fracture\_ins WHERE planner\_id=5;

执行后会出现如下错误：

**\[java\]**  [view plain][]   [copy][view plain]

1.  FAILED: Error in semantic analysis: No Partition Predicate Found **for** Alias "fracture\_ins" Table "fracture\_ins

解决方案是在where中增加分区条件：

**\[java\]**  [view plain][]   [copy][view plain]

1.  hive> SELECT DISTINCT(planner\_id) FROM fracture\_ins  
2.         > WHERE planner\_id=5 AND hit\_date=20120101;

**(2)：带有order by的查询**

对于使用了order by的查询，要求必须有limit语句。因为order by为了执行排序过程会将所有的结果分发到同一个reduce中进行处理，强制要求用户增加这个limit语句可以防止reduce额外消耗资源，如下是不带limit关键字的查询语句：

**\[java\]**  [view plain][]   [copy][view plain]

1.  hive> SELECT \* FROM fracture\_ins WHERE hit\_date>2012 ORDER BY planner\_id;

出现如下错误：

**\[java\]**  [view plain][]   [copy][view plain]

1.  FAILED: Error in semantic analysis: line 1:56 In strict mode,  
2.  limit must be specified **if** ORDER BY is present planner\_id

解决方案就是增加一个limit关键字：

**\[java\]**  [view plain][]   [copy][view plain]

1.  hive> SELECT \* FROM fracture\_ins WHERE hit\_date>2012 ORDER BY planner\_id  
2.          > LIMIT 100000;

**(3)：限制笛卡尔积的查询**

对关系型数据库非常了解的用户可能期望在执行join查询的时候不适用on语句而是使用where语句，这样关系型数据库的执行优化器就可以高效的将where语句转换成那个on语句了。不幸的是，Hive并不支持这样的优化，因为如果表非常大的话，就会出现不可控的情况，如下是不带on的语句：

**\[java\]**  [view plain][]   [copy][view plain]

1.  hive> SELECT \* FROM fracture\_act JOIN fracture\_ads  
2.  > WHERE fracture\_act.planner\_id = fracture\_ads.planner\_id;

出现如下错误：

**\[java\]**  [view plain][]   [copy][view plain]

1.  FAILED: Error in semantic analysis: In strict mode, cartesian product  
2.  is not allowed. If you really want to perform the operation,  
3.  \+set hive.mapred.mode=nonstrict+

解决方案就是加上on语句：

**\[java\]**  [view plain][]   [copy][view plain]

1.  hive> SELECT \* FROM fracture\_act JOIN fracture\_ads  
2.          > ON (fracture\_act.planner\_id = fracture\_ads.planner\_id);

[view plain]: http://blog.csdn.net/lzm1340458776/article/details/43233639#

Hive严格模式

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Hive 严格模式

相关 HIVE调优之严格模式

相关关于hive的严格模式

相关 Typescript 严格模式有多严格？

相关数仓工具—Hive的严格模式和本地模式(17)

相关严格模式

相关 Hive-企业级调优-(本地模式/JVM重用/严格模式/并行模式)

相关 Hive严格模式

相关 Hive严格模式

相关【转】Hive的严格模式