大数据之Hive学习——1三分钟快速入门

爱被打了一巴掌 2022-10-09 04:58 198阅读 0赞

# 第一章 Hive数据类型 #

## 1 Hive数据类型 ##

本篇文章介绍Hive不同的数据类型, 用于创建表. Hive所有的数据类型分为四种类型, 给出如下.

*  列类型
 *  文字
 *  Null 值
 *  复杂类型

### 1.1 列类型 ###

列类型被用作Hive的列数据类型. 它们如下:

#### 整型 ####

整形数据可以指定使用整型数据类型, `INT`. 当数据范围超过`INT`的范围时, `需要使用BIGINT`, 如果数据范围比`INT`小, `使用SMALLINT`. `TINYINT`比`SMALLINT` 小.

下表描述了各类INT数据类型.

<table> 
 <thead> 
  <tr> 
   <th>类型</th> 
   <th>后缀</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>TINYINT</code></td> 
   <td>Y</td> 
   <td>10Y</td> 
  </tr> 
  <tr> 
   <td><code>SMALLINT</code></td> 
   <td>S</td> 
   <td>10S</td> 
  </tr> 
  <tr> 
   <td><code>INT</code></td> 
   <td>-</td> 
   <td>10</td> 
  </tr> 
  <tr> 
   <td><code>BIGINT</code></td> 
   <td>B</td> 
   <td>10L</td> 
  </tr> 
 </tbody> 
</table>

#### 字符串类型 ####

字符串类型的数据类型可以使用单引号或双引号来指定. 它包含两个数据类型, `VARCHAR`和`CHAR`. Hive遵循C-类型的转义字符.  
下表描述了各类`CHAR`数据类型:

<table> 
 <thead> 
  <tr> 
   <th>数据类型</th> 
   <th>长度</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>VARCHAR</td> 
   <td>1-65355</td> 
  </tr> 
  <tr> 
   <td>CHAR</td> 
   <td>255</td> 
  </tr> 
 </tbody> 
</table>

#### 时间戳 ####

它支持传统的UNIX时间戳可选纳秒的精度. 它支持java.sql.Timestamp格式`YYYY-MM-DD HH:MM:SS.fffffffff` 和格式`YYYY-MM-DD HH:MM:ss.fffffffff`

#### 日期 ####

DATE值在年/月/日的格式形式描述.

#### 小数点 ####

在Hive小数类型与Java大十进制格式相同. 它可以同于表示不可改变的任意精度. 语法和示例如下:

DECIMAL(precision, scale)
    decimal(10, 0)

#### 联合类型 ####

联合类型和异类的数据类型的集合. 它可以使用联合创建的一个实例. 语法和示例如下:

UNIONTYPE<int, double, array<string>, struct<a:int, b:string>>
    
    {0:1}
    {1:2.0}
    {2:["three", "four"]}
    {3:{"a":5, "b":"five"}}
    {2:["six", "seven"]}
    {3:{"a":8, "b": "eight"}}
    {0: 9}
    {1: 10.0}

### 1.2 文字 ###

下面是Hive中使用的文字数据类型

#### 浮点类型 ####

浮点类型是只不过有小数点的数字. 通常, 这种类型的数据组成`DOUBLE`数据类型.

#### 十进制类型 ####

十进制数据类型是只不过浮点值范围比`DOUBLE`数据类型更大. 十进制类型的范围大约是 − 1 0 − 308 -10^\{-308\} −10−308到 1 0 308 10^\{308\} 10308

#### NULL 值 ####

缺少值通过特殊值- NULL表示

### 1.3 复杂类型 ###

Hive复杂数据类型如下:

#### 数组 ####

在Hive数组与在Java中使用的方法相同.

Syntax: ARRAY<data_type>

#### 映射 ####

映射在Hive类似于Java的映射.

Syntax : MAP<primitive_type, data_type>

#### 结构体 ####

在Hive中结构体类似于使用复杂的数据.

Syntax: STRUCT<col_name: data_type [COMMENT col_comment], ...>

# 第二章 Hive数据库 #

## 1 Hive创建数据库 ##

Hive是一种数据库技术, 可以定义数据库和表来分析结构化数据. 主题结构化数据分析是以表方式存储数据, 并通过查询来分析. 本篇文章介绍如何创建Hive数据库. 配置单元包含一个名为 `default` 默认的数据库.

`CREATE DATABASE` 语句

创建数据库是用来创建数据库在Hive中的语句. 在Hive数据库是一个命名空间或表的集合. 此语法声明如下.

CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name>

在这里, `IF NOT EXISTS`是一个可选字句, 通知用户已经存在相同名称的数据库. 可以使用`SCHEMA`在`DATABASE`的这个命令. 下面的查询执行创建一个名为`userdb`数据库.

hive> CREATE DATABASE [IF NOT EXISTS] userdb;

或

hive> CREATE SCHEMA userdb;

下面的查询用于验证数据库列表:

hive>SHOW DATABASE;
    default
    userdb

## 2 Hive删除数据库 ##

## DROP DATABASE语句 ##

`DROP DATABASE` 是删除所有的表并删除数据库的语句. 它的语法如下:

DROP DATABASE StatementDROP (DATABASE|SCHEMA) [IFEXISTS] database_name

下面的查询用于删除数据库. 假设要删除的数据库名称为userdb.

hive> DROP DATABASE IF EXISTS userdb;

以下是使用`CASCADE`查询删除数据库. 这意味着要全部删除相应的表在删除数据库之前.

hive> DROP DATABASE IF EXISTS userdb CASCADE;

以下使用SCHEMA查询删除数据库.

hive> DROP SCHEMA userdb;

# Hive 表 #

## 1 Hive创建表 ##

### 1.1 `CREATE TABLE` 语句 ###

Create Table适用于在Hive中创建表的语句, 语法如下:

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
    
    [(col_name data_type [COMMENT col_comment], ...)]
    [COMMENT table_comment]
    [ROW FORMAT row_format]
    [STORED AS file_format]

*  示例

假设需要使用`CREATE TABLE` 语句创建一个名为`employee`表, 下表列出了`employee`表中的字段和数据类型:

<table> 
 <thead> 
  <tr> 
   <th>Sr.No</th> 
   <th>字段名称</th> 
   <th>数据类型</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>Eid</td> 
   <td>int</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>Name</td> 
   <td>String</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>Salary</td> 
   <td>Float</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>Dedignation</td> 
   <td>string</td> 
  </tr> 
 </tbody> 
</table>

下面的数据是一个注释, 行格式字段, 如字段终止符, 行终止符, 并保存的文件类型.

COMMENT 'Employee details'
    FIELDS TERMINATED BY '\t'
    LINES TERMINATED BY '\n'
    STORED IN TEXT FILE;

hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String,
    > salary String, destination String)
    > COMMENT ‘Employee details’
    > ROW FORMAT DELIMITED
    > FIELDS TERMINATED BY ‘\t’
    > LINES TERMINATED BY ‘\n’
    > STORED AS TEXTFILE;

### 1.2 `LOAD DATA`语句 ###

一般来说, 在SQL创建表后, 我们就可以使用INSERT语句插入数据. 但是在Hive中, 可以使用LOAD DATA语句插入数据.

同时将数据插入到Hive中, 最好是使用LOAD DATA来存储大量记录. 有两种的方法来家在数据, 一种是从本地文件系统, 一种是从Hadoop文件系统.

*  **语法**

加载数据的语法如下:

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename
    [PARTITION (partcol1=val1, partcol2=val2 ...)]

*  LOCAL 是标识符指定本地路径, 可选
 *  OVERWRITE 是可选的, 覆盖表中的数据
 *  PARTITION 这是可选的
 *  **示例**

我们将插入下列数据到表中.

1201  Gopal       45000    Technical manager
    1202  Manisha     45000    Proof reader
    1203  Masthanvali 40000    Technical writer
    1204  Kiran       40000    Hr Admin
    1205  Kranthi     30000    Op Admin

假设存储的路径名为`/home/user/sample.txt`

hive> LOAD DATA LOCAL INPATH '/home/user/sample.txt' OVERWRITE INTO TABLE employee;

## 2 Hive修改表 ##

### 2.1 `ALTER TABLE` 语句 ###

他是在Hive中用来修改表的语句.

*  语法:

声明接受任意属性, 我们希望在一个表中修改以下语法.

alter table name rename to new_name;
    alter table name add columns (col_spec[, col_spec ...]);
    alter table name drop [column] column_name;
    alter table name change column_name new_name new_type;
    alter table name replace columns (col_spec[, col_spec ...]);

### 2.2 `rename to` 语句 ###

重命名表, 比如将`employee` 重命名为 `emp`

hive> alter table employee rename to emp;

### 2.3 `change` 语句 ###

change 语句一次查询只更改一个字段.

下表包含employee表的字段, 它显示的字段要被更改(粗体).

<table> 
 <thead> 
  <tr> 
   <th>字段名</th> 
   <th>原数据类型</th> 
   <th>新字段名</th> 
   <th>转化为数据类型</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>eid</td> 
   <td>int</td> 
   <td>eid</td> 
   <td>int</td> 
  </tr> 
  <tr> 
   <td><strong>name</strong></td> 
   <td>String</td> 
   <td><strong>ename</strong></td> 
   <td>String</td> 
  </tr> 
  <tr> 
   <td>salary</td> 
   <td><strong>Float</strong></td> 
   <td>salary</td> 
   <td>**<em>Double</em></td> 
  </tr> 
  <tr> 
   <td>designation</td> 
   <td>String</td> 
   <td>designation</td> 
   <td>String</td> 
  </tr> 
 </tbody> 
</table>

下面查询重命名使用上述数据的列名和列数据类型.

hive> alter table employee change name ename String;
    hive> alter table employee change salary salary Double;

### 2.4 添加列语句 ###

下面的查询增加了一个列名`dept`在`employee`表

hive> alter table employee add columns (dept String commnet 'department name')

### 2.5 `replace` 语句 ###

replace 语句一次查询可以更改多个字段.

一条语句达到前文中`change`语句的效果.

hive> alter table employee replace columns (
        eid int empid int,
        ename string name string
    )

## 3 Hive删除表 ##

### `DROP TABLE` 语句 ###

语法如下: