hive 死锁问题解决

女爷i 2022-12-03 05:25 307阅读 0赞

1，执行插入dwd\_log\_full\_di表调度是，查看调度任务发生的运行状态，发现dwd\_log\_full\_di表运行失败，导致后续所有依赖该任务暂停。

2.查看具体dwd\_log\_full\_di任务的日志，发现该表被锁了，导致数据无法alter table 、rename、insert等操作

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70][]

3.   进行任务重跑，所有发生锁表的任务任务都处于等待状态

3.1：为了不影响重要指标产出先将order\_info的依赖任务取消，采用优先将后续任务dwd\_log\_full\_di任务跑完， 部分重要指标依赖该表，在运行过程中发现该表也发生了锁表无法进行写入操作。

**解决方案：**

3.2：先在hive里查询发生锁表的任务

show locks;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70 1][]

备注：可以看到里面的那个Blocked By下的EXCLUSIVE

这里简单说一下：hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X）  
触发共享锁的操作是可以并发执行的  
但是触发互斥锁，那么该表和该分区就不能并发的执行作业了

3.3：于是开始尝试解锁：

unlock table cdm_dwd.dwd_log_full_di;

但是报错了：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.  
Current transaction manager does not support explicit lock requests. Transaction manager:  
org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

但是再次使用 `show locks;`发现之前的锁没了，但还无法执行alter table 、rename、insert等操作语句。

4 ：**到mysql进行操作，hive的元数据管理是在mysql中，**直接去mysql元数据执行：

在\[root@data06 admin\]\# mysql -u root -p123

select * from HIVE_LOCKS;

查到所有的锁，然后选择删除数据

DELETE FROM hive_locks where HL_TABLE = 'cdm_dwd.dwd_log_full_di';

3.5：在重新到调度任务上重新跑任务，任务运行成功。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70]: /images/20221123/de6a054f13b34dc998f3e1eb1622ee66.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70 1]: /images/20221123/84af2bc878c046e58bce611d91003ea4.png