大数据技术之Hive 第2章 Hive安装

「爱情、让人受尽委屈。」 2022-12-29 14:10 185阅读 0赞

### 大数据技术之Hive ###

*  1 Hive安装地址
 *  2 Hive安装部署
 *   *  2.1．Hive安装及配置
 *  3．Hive基本操作
 *  4. 多窗口启动Hive测试
 *  5. Hive常用交互命令
 *  6. Hive其他命令操作
 *  7. Hive常见属性配置
 *   *  2.7.1 Hive数据仓库位置配置
     *  2.7.2 查询后信息显示配置
     *  2.7.3 Hive运行日志信息配置
     *  2.7.4 参数配置方式

# 1 Hive安装地址 #

> 1．Hive官网地址  
> http://hive.apache.org/  
> 2．文档查看地址  
> https://cwiki.apache.org/confluence/display/Hive/GettingStarted  
> 3．下载地址  
> http://archive.apache.org/dist/hive/  
> 4．github地址  
> https://github.com/apache/hive

# 2 Hive安装部署 #

## 2.1．Hive安装及配置 ##

Hive只在一个节点上安装即可  
1 数据库安装位置：

> rpm -qa | grep mysql

2 卸载已有的mysql库包

> rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86\_6

3用rpm方式安装mysql的server端 （man rpm 查看-ivh的具体意思）

> rpm -ivh ./MySQL-server-5.5.47-1.linux2.6.x86\_64.rpm  
> 在这个位置，如果出现 starting mysql… 你就要杀死这个进程。  
> CODE:  
> \[root@localhost mysql\]\# ps -A|grep mysql  
> 8016 pts/2 00:00:00 mysqld\_safe  
> 8037 pts/2 00:00:00 mysqld  
> 果然有两个顽固分子 杀了这个进程  
> kill -9 8037（杀掉这个8016那个就自动被杀了！）  
> kill -9 8016

4用rpm方式安装mysql的client端

> rpm -ivh ./MySQL-client-5.5.47-1.linux2.6.x86\_64.rpm

> service mysql status

> service mysql start

> mysql -uroot

8 设置数据库的root账户密码

> update mysql.user set password=PASSWORD (‘root’) where User =‘root’;

9 打开远程访问连接（等于授权）

> update mysql.user set host=’%’ where user=‘root’ and host = ‘127.0.0.1’;

10 刷新授权

> flush privileges;

11： 安装hive：

> (1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下  
> （2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面  
> \[atguigu@hadoop102 software\]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/  
> （3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive  
> \[atguigu@hadoop102 module\]$ mv apache-hive-1.2.1-bin/ hive  
> （4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh  
> \[atguigu@hadoop102 conf\]$ mv hive-env.sh.template hive-env.sh

12.配置hive  
（a）配置HIVE\_HOME环境变量  
（a1）vi conf/hive-env.sh 配置其中的$hadoop\_home(文件源名有一个template的后缀，记得改名字)  
（b）配置元数据库信息 vi hive-site.xml （这个文件不存在，是自己创建的额。要放在hive/conf）

添加如下内容：
    <configuration>
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
    </property>
    
    <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
    </property>
    
    <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>username to use against metastore database</description>
    </property>
    
    <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
    </property>
    </configuration>

13.安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE\_HOME/lib目录下（这个jar包，就是JDBC中的驱动包。）

1.  Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的  
    /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar

你要做的事情是： 把hive/lib中的jline.2.12.jar 拷贝到 hadoop/share/hadoop/yarn/lib 这个位置就可以。

启动hive ： 记得，一定要开启 hadoop。就可以使用了。  
bin/hive

# 3．Hive基本操作 #

（1）启动hive

> \[atguigu@hadoop102 hive\]$ bin/hive

（2）查看数据库

> hive> show databases;

（3）打开默认数据库

> hive> use default;

（4）显示default数据库中的表

> hive> show tables;

（5）创建一张表

> hive> create table student(id int, name string);

（6）显示数据库中有几张表

> hive> show tables;

（7）查看表的结构

> hive> desc student;

（8）向表中插入数据

> hive> insert into student values(1000,“ss”);

（9）查询表中数据

> hive> select \* from student;

（10）退出hive

> hive> quit;

# 4. 多窗口启动Hive测试 #

1．先启动MySQL

> \[atguigu@hadoop102 mysql-libs\]$ mysql -uroot -p000000

查看有几个数据库\\

2．再次打开多个窗口，分别启动hive

> \[atguigu@hadoop102 hive\]$ bin/hive

3．启动hive后，回到MySQL窗口查看数据库，显示增加了metastore数据库

# 5. Hive常用交互命令 #

> \[atguigu@hadoop102 hive\]$ bin/hive -help  
> usage: hive  
> \-d,–define <key=value> Variable subsitution to apply to hive  
> commands. e.g. -d A=B or --define A=B  
> –database Specify the database to use  
> \-e SQL from command line  
> \-f SQL from files  
> \-H,–help Print help information  
> –hiveconf <property=value> Use value for given property  
> –hivevar <key=value> Variable subsitution to apply to hive  
> commands. e.g. --hivevar A=B  
> \-i Initialization SQL file  
> \-S,–silent Silent mode in interactive shell  
> \-v,–verbose Verbose mode (echo executed SQL to the console)

> 1．“-e”不进入hive的交互窗口执行sql语句  
> \[atguigu@hadoop102 hive\]$ bin/hive -e “select id from student;”  
> 2．“-f”执行脚本中sql语句  
> （1）在/opt/module/datas目录下创建hivef.sql文件  
> \[atguigu@hadoop102 datas\]$ touch hivef.sql  
> 文件中写入正确的sql语句  
> select \*from student;  
> （2）执行文件中的sql语句  
> \[atguigu@hadoop102 hive\]$ bin/hive -f /opt/module/datas/hivef.sql  
> （3）执行文件中的sql语句并将结果写入文件中  
> \[atguigu@hadoop102 hive\]$ bin/hive -f /opt/module/datas/hivef.sql > /opt/module/datas/hive\_result.txt

# 6. Hive其他命令操作 #

1．退出hive窗口：

> hive(default)>exit;  
> hive(default)>quit;

在新版的hive中没区别了，在以前的版本是有的：  
exit:先隐性提交数据，再退出；  
quit:不提交数据，退出；

2．在hive cli命令窗口中如何查看hdfs文件系统

> hive(default)>dfs -ls /;

3．在hive cli命令窗口中如何查看本地文件系统

> hive(default)>! ls /opt/module/datas;

4．查看在hive中输入的所有历史命令  
（1）进入到当前用户的根目录/root或/home/atguigu  
（2）查看. hivehistory文件

> \[atguigu@hadoop102 ~\]$ cat .hivehistory

# 7. Hive常见属性配置 #

## 2.7.1 Hive数据仓库位置配置 ##

1）Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。  
2）**在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。**

3）修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中）。

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
    </property>

配置同组用户有执行权限

> bin/hdfs dfs -chmod g+w /user/hive/warehouse

## 2.7.2 查询后信息显示配置 ##

1）在hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。

<property>
    	<name>hive.cli.print.header</name>
    	<value>true</value>
    </property>
    
    <property>
    	<name>hive.cli.print.current.db</name>
    	<value>true</value>
    </property>

2）重新启动hive，对比配置前后差异。  
（1）配置前，如图6-2所示  
![图6-2 配置前][6-2]  
（2）配置后，如图6-3所示  
![图6-3 配置后][6-3]

## 2.7.3 Hive运行日志信息配置 ##

1．Hive的log默认存放在/tmp/atguigu/hive.log目录下（当前用户名下）  
2．修改hive的log存放日志到/opt/module/hive/logs  
（1）***修改/opt/module/hive/conf/hive-log4j.properties.template文件名称为  
hive-log4j.properties***

[atguigu@hadoop102 conf]$ pwd
    /opt/module/hive/conf
    [atguigu@hadoop102 conf]$ mv hive-log4j.properties.template hive-log4j.properties

（2）在hive-log4j.properties文件中修改log存放位置

> hive.log.dir=/opt/module/hive/logs

## 2.7.4 参数配置方式 ##

1．查看当前所有的配置信息

> hive>set;

2．参数的配置三种方式  
（1）配置文件方式  
默认配置文件：**hive-default.xml**  
用户自定义配置文件：**hive-site.xml**  
注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。  
（2）命令行参数方式  
启动Hive时，可以在命令行添加-hiveconf param=value来设定参数。  
例如：

> \[atguigu@hadoop103 hive\]$ bin/hive -hiveconf mapred.reduce.tasks=10;

注意：仅对本次hive启动有效  
查看参数设置：

> hive (default)> set mapred.reduce.tasks;

（3）参数声明方式  
可以在HQL中使用SET关键字设定参数  
例如：

> hive (default)> set mapred.reduce.tasks=100;

注意：仅对本次hive启动有效。  
查看参数设置

> hive (default)> set mapred.reduce.tasks;

上述三种设定方式的优先级依次递增。即配置文件<命令行参数<参数声明。注意某些系统级的参数，例如log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在会话建立以前已经完成了。

[6-2]: /images/20221120/b451a54fe5d84d37bce57e2b2a9645f5.png
[6-3]: /images/20221120/08562effa60f43b5907a3100d5d21972.png