Hadoop学习(7)-hive的安装和命令行使用和java操作

向右看齐 2023-06-03 14:59 41阅读 0赞

Hive的用处，就是把hdfs里的文件建立映射转化成数据库的表

但hive里的sql语句都是转化成了mapruduce来对hdfs里的数据进行处理

，并不是真正的在数据库里进行了操作。

而那些表的定义则是储存在了mysql数据库中，他只是记录相应表的定义

所以你的集群中要有一台机器装了mysql

装hive，装到哪都行

![1369734-20190807090354261-2056863239.png][]

然后解压tar –zxvf xxxxx –C apps

然后进入到这个目录里下的conf里

创建hive-site.xml文件

![1369734-20190807090440902-1038452586.png][]

告诉他mysql在哪，连接驱动是啥，用户名和密码

然后进入lib目录下，把jdbc jar 包放到该目录下

然后是启动hive

你的hadoop和hive要配置的有环境变量

echo $PATH   //可以查看配置的环境变量

echo $HADOOP-HOME //可以查看具体的哪一个

然后最好把hadoop和yarn都启动起来

然后再安装目录里bin/hive就可以启动了

![1369734-20190807090549289-907083723.png][]

默认的是default数据库

创建数据库和表都会在真正的hdfs里面创建目录

![1369734-20190807090651942-2019494524.png][]

然后如果你要是想往表里面导数据，你需要把相应的文件用 ^A 来分割放到hdfs里的相应目录下

![1369734-20190807090725918-764371436.png][]

然后把这个文件上传到hdfs里面

hadoop fs  -put stu.info /user/hive/warehouse/t\_big24/

在hive交互页面中，显示当前库

设置一些基本参数，让hive使用起来更便捷，比如：

1、让提示符显示当前库：

hive>set hive.cli.print.current.db=true;

2、显示查询结果时显示字段名称：

hive>set hive.cli.print.header=true;

但是这样设置只对当前会话有效，重启hive会话后就失效，解决办法：

在linux的当前用户目录中，编辑一个.hiverc文件，将参数写入其中：

vi .hiverc

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">set hive.cli.print.header=true;</span></p> <p><span style="font-size:18px;">set hive.cli.print.current.db=true;</span></p> </td> 
  </tr> 
 </tbody> 
</table>

配置hive环境变量

比如我hive是解压在  /root/apps/hive-1.2.1

Vi /etc/profile

然后在最后加上

Export HIVE\_HOME=/root/apps/hive-1.2.1

Export PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin:$HIVE\_HOME/bin

还可以把hive当成一个服务，使用客户端来访问这个服务

服务端口号10000

启动hive服务

bin/hiveserver2

然后可以在linux监听端口号netstat -nltp

启动成功后，可以在别的节点上用beeline去连接

启动服务  bin/beeline

然后要连接他

！connect jdbc:hive2://hdp-01:10000

然后输入账户root  没有密码

课外知识  标准输出重定向。Linux里1就是标准输出

./linux脚本文件 1>/要输入的文件名 2>/错误时要定向到的文件名 &

这样就不会再终端打印了

/dev/null  是一个“黑洞”什么东西都会删除

上述启动，会将这个服务启动在前台，如果要启动在后台，则命令如下：

nohup bin/hiveserver2 1>/dev/null 2>&1 &

前面加上nohup就是就算这个用户退出，这个进程也会继续

hive -e "sql命令"

这样可以不用进到hive直接运行

然后，进一步，可以将上述命令写入shell脚本中，以便于脚本化运行hive任务，并控制、调度众多hive任务，示例如下：

vi t\_order\_etl.sh

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">#!/bin/bash</span></p> <p><span style="font-size:18px;">hive -e "select * from db_order.t_order"</span></p> <p><span style="font-size:18px;">hive -e "select * from default.t_user"</span></p> <p><span style="font-size:18px;">hql="create table&nbsp; default.t_bash as select * from db_order.t_order"</span></p> <p><span style="font-size:18px;">hive -e "$hql"</span></p> </td> 
  </tr> 
 </tbody> 
</table>

如果要执行的hql语句特别复杂，那么，可以把hql语句写入一个文件：

vi x.hql

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">select * from db_order.t_order;</span></p> <p><span style="font-size:18px;">select count(1) from db_order.t_user;</span></p> </td> 
  </tr> 
 </tbody> 
</table>

然后，用hive -f /root/x.hql 来执行

use db\_order;

create table t\_order(id string,create\_time string,amount float,uid string);

表建好后，会在所属的库目录中生成一个表目录

/user/hive/warehouse/db\_order.db/t\_order

只是，这样建表的话，hive会认为表数据文件中的字段分隔符为 ^A

正确的建表语句为：

create table t\_order(id string,create\_time string,amount float,uid string)

row format delimited

fields terminated by ',';

这样就指定了，我们的表数据文件中的字段分隔符为 ","

内部表(MANAGED\_TABLE)：表目录按照hive的规范来部署，位于hive的仓库目录/user/hive/warehouse中

外部表(EXTERNAL\_TABLE)：表目录由建表用户自己指定

create external table t\_access(ip string,url string,access\_time string)

row format delimited

fields terminated by ','

location '/access/log';

外部表和内部表的特性差别：

1、内部表的目录在hive的仓库目录中 VS 外部表的目录由用户指定

2、drop一个内部表时：hive会清除相关元数据，并删除表数据目录

3、drop一个外部表时：hive只会清除相关元数据；

**分区表的实质是**：在表目录中为数据文件创建分区子目录，以便于在查询时，MR程序可以针对分区子目录中的数据进行处理，缩减读取数据的范围。

比如，网站每天产生的浏览记录，浏览记录应该建一个表来存放，但是，有时候，我们可能只需要对某一天的浏览记录进行分析

1、创建带分区的表

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">create table t_access(ip string,url string,access_time string)</span></p> <p><span style="font-size:18px;">partitioned by(dt string)</span></p> <p><span style="font-size:18px;">row format delimited</span></p> <p><span style="font-size:18px;">fields terminated by ',';</span></p> </td> 
  </tr> 
 </tbody> 
</table>

注意：分区字段不能是表定义中的已存在字段

向分区中导入数据

load data local inpath '/root/access.log.2017-08-04.log' into table t\_access partition(dt='20170804');

load data local inpath '/root/access.log.2017-08-05.log' into table t\_access partition(dt='20170805');

针对分区数据进行查询

*统计8**月4**号的总PV**：*

*select count(\*) from t\_access where dt='20170804';*

*实质：就是将分区字段当成表字段来用，就可以使用where**子句指定分区了*

建表：

create table t\_partition(id int,name string,age int)

partitioned by(department string,sex string,howold int)

row format delimited fields terminated by ',';

导数据：

load data local inpath '/root/p1.dat' into table t\_partition partition(department='xiangsheng',sex='male',howold=20);

可以通过已存在表来建表：

1、create table t\_user\_2 like t\_user;

新建的t\_user\_2表结构定义与源表t\_user一致，但是没有数据

2、在建表的同时插入数据

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">create table t_access_user</span></p> <p><span style="font-size:18px;">as</span></p> <p><span style="font-size:18px;">select ip,url from t_access;</span></p> </td> 
  </tr> 
 </tbody> 
</table>

t\_access\_user会根据select查询的字段来建表，同时将查询的结果插入新表中

### 1.1.1.   将hive表中的数据导出到指定路径的文件 ###

1、将hive表中的数据导入HDFS的文件

*insert overwrite directory '/root/access-data'*

*row format delimited fields terminated by ','*

*select \* from t\_access;*

2、将hive表中的数据导入本地磁盘文件

*insert overwrite local directory '/root/access-data'*

*row format delimited fields terminated by ','*

*select \* from t\_access limit 100000;*

hql里面的数据类型和普通的没什么区别

array数组类型

arrays: ARRAY<data\_type> (Note: negative values and non-constant expressions are allowed as of [Hive 0.14][].)

示例：array类型的应用

假如有如下数据需要用hive的表去映射：

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">战狼2,吴京:吴刚:龙母,2017-08-16</span></p> <p><span style="font-size:18px;">三生三世十里桃花,刘亦菲:痒痒,2017-08-20</span></p> </td> 
  </tr> 
 </tbody> 
</table>

设想：如果主演信息用一个数组来映射比较方便

建表：

create table t\_movie(moive\_name string,actors array<string>,first\_show date)

row format delimited fields terminated by ','

collection items terminated by ':';

导入数据：

load data local inpath '/root/movie.dat' into table t\_movie;

查询：

select \* from t\_movie;

select moive\_name,actors\[0\] from t\_movie;

select moive\_name,actors from t\_movie where array\_contains(actors,'吴刚');

select moive\_name,size(actors) from t\_movie;

map类型

**1)        ** **假如有以下数据：**

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">1,zhangsan,father:xiaoming#mother:xiaohuang#brother:xiaoxu,28</span></p> <p><span style="font-size:18px;">2,lisi,father:mayun#mother:huangyi#brother:guanyu,22</span></p> <p><span style="font-size:18px;">3,wangwu,father:wangjianlin#mother:ruhua#sister:jingtian,29</span></p> <p><span style="font-size:18px;">4,mayun,father:mayongzhen#mother:angelababy,26</span></p> </td> 
  </tr> 
 </tbody> 
</table>

可以用一个map类型来对上述数据中的家庭成员进行描述

**2)        ** **建表语句：**

create table t\_person(id int,name string,family\_members map<string,string>,age int)

row format delimited fields terminated by ','

collection items terminated by '\#'

map keys terminated by ':';

**3)        ** **查询**

select \* from t\_person;

*\#\#* *取map**字段的指定key**的值*

select id,name,family\_members\['father'\] as father from t\_person;

\#\# 取map字段的所有key

select id,name,map\_keys(family\_members) as relation from t\_person;

\#\# 取map字段的所有value

select id,name,map\_values(family\_members) from t\_person;

select id,name,map\_values(family\_members)\[0\] from t\_person;

*\#\#* *综合：查询有brother**的用户信息*

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">select id,name,father</span></p> <p><span style="font-size:18px;">from</span></p> <p><span style="font-size:18px;">(select id,name,family_members['brother'] as father from t_person) tmp</span></p> <p><span style="font-size:18px;">where father is not null;</span></p> </td> 
  </tr> 
 </tbody> 
</table>

struct类型

**1)        ** **假如有如下数据：**

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">1,zhangsan,18:male:beijing</span></p> <p><span style="font-size:18px;">2,lisi,28:female:shanghai</span></p> </td> 
  </tr> 
 </tbody> 
</table>

其中的用户信息包含：年龄：整数，性别：字符串，地址：字符串

设想用一个字段来描述整个用户信息，可以采用struct

**2)        ** **建表：**

*create table t\_person\_struct(id int,name string,info struct<age:int,sex:string,addr:string>)*

*row format delimited fields terminated by ','*

*collection items terminated by ':';*

**3)        ** **查询**

*select \* from t\_person\_struct;*

*select id,name,info.age from t\_person\_struct;*

*其他的执行语句和sql里面的是基本一样的*

注意： 一旦有group by子句，那么，在select子句中就不能有 （分组字段，聚合函数） 以外的字段

\#\# 为什么where必须写在group by的前面，为什么group by后面的条件只能用having

因为，where是用于在真正执行查询逻辑之前过滤数据用的

having是对group by聚合之后的结果进行再过滤；

*上述语句的执行逻辑：*

*1、**where**过滤不满足条件的数据*

*2、**用聚合函数和group by**进行数据运算聚合，得到聚合结果*

*3、**用having**条件过滤掉聚合结果中不满足条件的数据*

假如有以下数据：

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">1,zhangsan,化学:物理:数学:语文</span></p> <p><span style="font-size:18px;">2,lisi,化学:数学:生物:生理:卫生</span></p> <p><span style="font-size:18px;">3,wangwu,化学:语文:英语:体育:生物</span></p> </td> 
  </tr> 
 </tbody> 
</table>

映射成一张表：

create table t\_stu\_subject(id int,name string,subjects array<string>)

row format delimited fields terminated by ','

collection items terminated by ':';

![1369734-20190807093745828-622431673.png][]

然后，我们利用这个explode的结果，来求去重的课程：

<table style="width:568px;"> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-size:18px;">select distinct tmp.sub</span></p> <p><span style="font-size:18px;">from</span></p> <p><span style="font-size:18px;">(select explode(subjects) as sub from t_stu_subject) tmp;</span></p> </td> 
  </tr> 
 </tbody> 
</table>

然后java代码操作的话，需要现在服务器上开启hive2服务，这个跟上面使用beeline连接hive是一个道理

![1369734-20190807094018534-1734998954.png][]

需要的包在解压后的hive里面都有

import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; public class getConnection { public getConnection() { } public static Connection getConnection() throws ClassNotFoundException, SQLException { Class.forName("org.apache.hive.jdbc.HiveDriver"); Connection connection = DriverManager.getConnection("jdbc:hive2://hdp-02:10000/test","root","123456"); return connection; } }

这样就可以获得一个连接

import java.sql.Connection; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; public class getData { public getData() { } public static void getdata() throws ClassNotFoundException, SQLException { Connection connection = getConnection.getConnection(); Statement statement = connection.createStatement(); String sql = "select * from people"; ResultSet res = statement.executeQuery(sql);while(res.next()) { System.out.println(res.getString(1) + "  " + res.getString(2) + "  " + res.getString(3) + "  " + res.getString(4)); } res.close(); statement.close(); connection.close(); return res; } }

这个其实和连接普通的mysql也没啥区别........

转载于:https://www.cnblogs.com/wpbing/p/11313304.html

[1369734-20190807090354261-2056863239.png]: /images/20230601/789a3c368fea485ebd6de421adae2597.png
[1369734-20190807090440902-1038452586.png]: /images/20230601/67a97e6794ad4a7b88a378388c8f9045.png
[1369734-20190807090549289-907083723.png]: /images/20230601/3cca67bc28cc4ed19281c69ba4271f38.png
[1369734-20190807090651942-2019494524.png]: /images/20230601/4061f3aa359f4f698ef278b5ef42ee38.png
[1369734-20190807090725918-764371436.png]: /images/20230601/ae53588ee00e482e991995665fb6a031.png
[Hive 0.14]: https://issues.apache.org/jira/browse/HIVE-7325
[1369734-20190807093745828-622431673.png]: /images/20230601/63133ce90352463da8c037c8cea2a871.png
[1369734-20190807094018534-1734998954.png]: /images/20230601/8f73c4e5a8a9420d892b7bf392c3c69b.png