大数据开发工程师-第八周-Hive on Tez引擎配置

---

Hive on Tez引擎配置

使用tez引擎替换hive的默认mr执行引擎。

基础环境如下：
hadoop版本：3.2.0
hive版本：3.1.2
tez版本：0.9.2

目前hadoop集群环境和hive环境是ok。在这个基础之上集成tez执行引擎。

1：下载tez安装包

https://mirror.bit.edu.cn/apache/tez/0.9.2/apache-tez-0.9.2-bin.tar.gz

2：上传到bigdata04机器的/data/soft目录下
[root@bigdata04 soft]# ll
-rw-r--r--. 1 root root 62945274 Sep  6  2020 apache-tez-0.9.2-bin.tar.gz

3：解压
[root@bigdata04 soft]# tar -zxvf apache-tez-0.9.2-bin.tar.gz

4：重命名
[root@bigdata04 soft]# mv apache-tez-0.9.2-bin tez-0.9.2

5：修改hive的配置文件hive-env.sh
在文件最下面添加以下内容

[root@bigdata04 soft]# cd /data/soft/apache-hive-3.1.2-bin
[root@bigdata04 apache-hive-3.1.2-bin]# cd conf/
[root@bigdata04 conf]# vi hive-env.sh
......
export HIVE_CONF_DIR=/data/soft/apache-hive-3.1.2-bin/conf
export TEZ_HOME=/data/soft/tez-0.9.2
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done

export HIVE_AUX_JARS_PATH=/data/soft/hadoop-3.2.0/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar$TEZ_JARS

注意：里面的/data/soft/hadoop-3.2.0/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar这个文件是我基于hadoop-3.2.0版本编译的
这个jar包在hive课程的配套资料中(git中)
https://git.imooc.com/class-102/bigdata_course_materials
大家需要把这个jar包上传到hadoop的这个目录(/data/soft/hadoop-3.2.0/share/hadoop/common/)下，只需要在bigdata04这个客户端节点上传即可。

6：修改hive的hive-site.xml配置文件
将属性hive.execution.engine的值改为tez，表示将tez的默认执行引擎改为tez
<property>
    <name>hive.execution.engine</name>
    <value>tez</value>
</property>

7：将tez上传到集群
[root@bigdata04 soft]# hdfs dfs -mkdir /tez
[root@bigdata04 soft]# hdfs dfs -put tez-0.9.2 /tez

最终效果是这样的
[root@bigdata04 soft]# hdfs dfs -ls /tez
Found 1 items
drwxr-xr-x   - root supergroup          0 2026-02-21 11:34 /tez/tez-0.9.2

8：在hive的conf目录下创建一个tez-site.xml文件

[root@bigdata04 soft]# cd apache-hive-3.1.2-bin/conf/
[root@bigdata04 conf]# vi tez-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
	<name>tez.lib.uris</name>
	<value>hdfs://bigdata01:9000/tez/tez-0.9.2,hdfs://bigdata01:9000/tez/tez-0.9.2/lib</value>
</property>
<property>
	<name>tez.lib.uris.classpath</name>
	<value>hdfs://bigdata01:9000/tez/tez-0.9.2,hdfs://bigdata01:9000/tez/tez-0.9.2/lib</value>
</property>
<property>
	<name>tez.use.cluster.hadoop-libs</name>
	<value>true</value>
</property>
<property>
	<name>tez.history.logging.service.class</name>
	<value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
</property>
</configuration>

9：启动hiveserver2服务
[root@bigdata04 apache-hive-3.1.2-bin]# bin/hiveserver2 

10：进入hive
[root@bigdata04 apache-hive-3.1.2-bin]# bin/beeline -u  jdbc:hive2://localhost:10000
0: jdbc:hive2://localhost:10000> create table t1(id int,name string);
No rows affected (1.69 seconds)
0: jdbc:hive2://localhost:10000> insert into t1(id,name) values(1,"zs");
0: jdbc:hive2://localhost:10000>select * from t1;
+--------+----------+
| t1.id  | t1.name  |
+--------+----------+
| 1      | zs       |
+--------+----------+

---