Hive安装 Tez 引擎

落日映苍穹つ 2022-10-06 05:46 215阅读 0赞

Tez 是一个 Hive 的运行引擎，性能优于 MR。为什么优于 MR 呢？看下图  
![在这里插入图片描述][20210611144413199.png]  
  `用 Hive 直接编写 MR 程序，假设有四个有依赖关系的 MR 作业，上图中，绿色是 ReduceTask，云状表示写屏蔽，需要将中间结果持久化写到 HDFS`。`Tez 则可以将多个有依赖的作业转换为一个作业，这样只需写一次 HDFS，且中间节点较少，从而大大提升作业的计算性能。`

> Tez 不完全依赖于磁盘。除非数据量特别大，它也需要落入磁盘。数据量小的情况下，它会优先使用内存。内存能放得下，我就放内存。  
>    
> MR 中间产生的文件，哪怕1K，也需要落盘。而且多个任务串联（DAG），任务与任务之间都是独立的。独立的多个任务，在调度方面也要浪费时间，必须等到这个任务执行完了才能去执行下个任务。慢就慢在中间过程。

# Tez引擎安装 #

> 需要用到 tar.gz 包下载  
> 地址：[https://pan.baidu.com/s/1PePN7BXvQGheJxqT5bYYjQ][https_pan.baidu.com_s_1PePN7BXvQGheJxqT5bYYjQ] 提取码：i9yb  
> ![在这里插入图片描述][20210611145455974.png]  
> `一个普通 tar.gz 包，一个是minimal.tar.gz 包。`  
> **普通 tar.gz 包，需要上传至 hdfs 集群；**  
> **minimal.tar.gz包，需要在本地安装的。**

**1.将 tez 安装包拷贝到集群，并解压 tar 包**

# 创建tez文件夹(因为tez.tar.gz解压缩后有N多文件,没有被一个文件夹包裹着)
    mkdir /opt/module/tez
    # 解压缩至指定文件夹
    tar -zxvf /opt/software/tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/module/tez

**2.上传 tez 依赖到 HDFS**

# hdfs 创建文件夹
    hadoop fs -mkdir /tez
    # 上传本地文件至 hdfs 集群
    hadoop fs -put /opt/software/tez-0.10.1-SNAPSHOT.tar.gz /tez

**3.新建 tez-site.xml**

# 在hadoop配置文件中，新建 tez-site.xml（注意：是在hadoop的 etc/hadoop 目录下新建哦）
    vim $HADOOP_HOME/etc/hadoop/tez-site.xml

添加如下内容：

<?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    	<property>
    		<name>tez.lib.uris</name>
    		<value>${fs.defaultFS}/tez/tez-0.10.1-SNAPSHOT.tar.gz</value>
    	</property>
    	<property>
    		<name>tez.use.cluster.hadoop-libs</name>
    		<value>true</value>
    	</property>
    	<property>
    		<name>tez.am.resource.memory.mb</name>
    		<value>1024</value>
    	</property>
    	<property>
    		<name>tez.am.resource.cpu.vcores</name>
    		<value>1</value>
    	</property>
    	<property>
    		<name>tez.container.max.java.heap.fraction</name>
    		<value>0.4</value>
    	</property>
    	<property>
    		<name>tez.task.resource.memory.mb</name>
    		<value>1024</value>
    	</property>
    	<property>
    		<name>tez.task.resource.cpu.vcores</name>
    		<value>1</value>
    	</property>
    </configuration>

**4.修改 Hadoop 环境变量**

vim $HADOOP_HOME/etc/hadoop/shellprofile.d/tez.sh

在 tez.sh 中，添加 Tez 的 Jar 包相关信息

hadoop_add_profile tez
    function _tez_hadoop_classpath
    { 
     hadoop_add_classpath "$HADOOP_HOME/etc/hadoop" after
     hadoop_add_classpath "/opt/module/tez/*" after
     hadoop_add_classpath "/opt/module/tez/lib/*" after
    }

> **提示：**  
>   在 hadoop 中修改的配置，需要分发到集群每台节点上。hive 只是一个客户端，不需要分发。

**5.修改 Hive 的计算引擎**

vim $HIVE_HOME/conf/hive-site.xml

添加：

<property>
    	<name>hive.execution.engine</name>
    	<value>tez</value>
    </property>
    <property>
    	<name>hive.tez.container.size</name>
    	<value>1024</value>
    </property>

**6.解决日志 Jar 包冲突**

rm /opt/module/tez/lib/slf4j-log4j12-1.7.10.jar

> **提示：**  
>   安装后，Hadoop集群 和 Hive客户端 均需要重启。

**使用Tez引擎**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6YjM0ODExMDE3NQ_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][20210611153449799.png]  
**Tez疑惑**

1.Tez任务执行完成后，资源不能及时释放  
![在这里插入图片描述][20210611154114359.png]

> 根据其他博客介绍：[Hive JDBC连接Tez（AM）容器长期不释放问题的解决方法][Hive JDBC_Tez_AM]，在 Hive 和 Tez 配置中，添加 `tez.session.am.dag.submit.timeout.secs` 属性配置。我发现资源能够及时释放了。但是 hive.log 日志会报一个错误，不影响使用，但也不知道为什么。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6YjM0ODExMDE3NQ_size_16_color_FFFFFF_t_70 1]  
> 2.资源不及时释放，多个任务使用同一个任务id，不方便查看日志  
> ![在这里插入图片描述][20210611154514356.png]

**自我感觉**

> Hive 中默认使用 MR 引擎，但是 MapReduce 并不擅长 DAG（有向无环图）计算（参考：[MapReduce介绍][MapReduce]）。

> 所以我猜测 Tez 引擎更多的是用来解决 DAG 任务的一个引擎。所以才会有上面的两个疑惑。处于学习阶段的自我认知，错误请指出，勿喷。哈哈

> Hive终归还是要上 Spark 引擎的，就是图它的快，biu…biu…biu…

> 下一篇：[Hive调优篇][Hive]

--------------------

**博主写作不易，加个关注呗**

**求关注、求点赞，加个关注不迷路 ヾ(◍°∇°◍)ﾉﾞ**

**我不能保证所写的内容都正确，但是可以保证不复制、不粘贴。保证每一句话、每一行代码都是亲手敲过的，错误也请指出，望轻喷 Thanks♪(･ω･)ﾉ**

[20210611144413199.png]: /images/20221005/13cdd48c3b1940f7a04ade269a73f8c8.png
[https_pan.baidu.com_s_1PePN7BXvQGheJxqT5bYYjQ]: https://pan.baidu.com/s/1PePN7BXvQGheJxqT5bYYjQ
[20210611145455974.png]: /images/20221005/f22e6ad0b87b4706ad8ae81c0ac81547.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6YjM0ODExMDE3NQ_size_16_color_FFFFFF_t_70]: /images/20221005/b53f6680524f451d82d52948fb0b7e6c.png
[20210611153449799.png]: /images/20221005/85384d1ed2644d05917aa4932ed4aa6f.png
[20210611154114359.png]: /images/20221005/2e514f38ffe84d82891f2569a020d90e.png
[Hive JDBC_Tez_AM]: https://blog.csdn.net/bluishglc/article/details/86703939
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6YjM0ODExMDE3NQ_size_16_color_FFFFFF_t_70 1]: /images/20221005/436235ea7cbd41c6981eb897a281e3ff.png
[20210611154514356.png]: /images/20221005/b3ac0ff6387e4605a665e347def721e0.png
[MapReduce]: https://blog.csdn.net/lzb348110175/article/details/115622232
[Hive]: https://blog.csdn.net/lzb348110175/article/details/117731224