hive表ddl导出_【大数据10回】Hive的DDL建库和建表

谁践踏了优雅 2023-01-08 15:24 152阅读 0赞

学习hive的HQL的DDL相关语法，建议对照官方WIKI，因为语法参数较多，而且和SQL多有相似，不建议记忆，梳理记住相关可以实现的功能和注意点以及和SQL之间的区别即可。

找到”Getting Started Guide”，

找到”DDL Operations”，点击进入”Hive Data Definition Language.”，

因为hive的WIKI特别慢，建议下载下来方便下次查看。

1. DDL: Data Definition Language

以create，delete，drop，alter 关键字开头的操作，就是对数据库，表等数据单元的创建/删除/更改。

hive的database，table，partition，bucket这四个里面前三个在hdfs上面都是文件夹，而具体的数据是存储在文件里面的。所以当我们添加数据的时候实际上就是往这个表所代表的文件夹里添加文件。

Hive默认数据库存放位置：/user/hive/warehouse

位置是由参数决定：hive.metastore.warehouse.dir

修改方法：![Image 1][]

2. 数据库操作

1) 创建数据库

\--模版：CREATE DATABASE \[IF NOT EXISTS\] database\_name

\[COMMENT database\_comment\]

\[LOCATION hdfs\_path\]

\[WITH DBPROPERTIES (property\_name=property\_value, …)\];

中括号里为选填内容。if not exists (不会创建重复的数据库)，comment(备注)，location(重新选择在hdfs上面的存储路径)，dbproperties()(这个就是记录一些key-value对，用于记录创建人，时间等自定义信息)。

创建完数据库后，我们想看下数据库:

desc database db\_name

desc database extended db\_name \# 更详细

进入数据库/切库:![Image 1][]

2) 修改、删除数据库

\--修改：ALTER DATABASE database\_name SET DBPROPERTIES (property\_name=property\_value, …);

ALTER DATABASE database\_name SET OWNER \[USER|ROLE\] user\_or\_role;

ALTER (DATABASE|SCHEMA) database\_name SET LOCATION hdfs\_path;

\--删除：drop database if exists d5\_hive\_2；--数据库里有表，表里有分区，操作无效drop database if exists d5\_hive\_2 cascade；

cascade：一对多的时候，删除一的同时删除多，慎用。

3. 表的操作

hive里面的数据结构和MySQL类似的，主要是string, int, bigint, float, double, boolean, date, timestamp。尽量只使用string和int，其他数据类型诸如boolean和date以及timestamp尽量使用string。

hive创建表也是存储在HDFS之上的，数据是文本文件形式储存。所以在hive里面建表需要定义好对文件内容的分隔符。

\\n 默认的行分隔符；

^A 默认的列分隔符；

\\t 一般建表时指定列分隔符为tab。

1)创建表

CREATE TABLE ruoze\_emp (

empno int,

ename string,

job string,

mgr int,

hiredate string,

sal double,

comm double,

deptno int

)

row format delimited fields terminated by ‘\\t’ --分隔符;

我们也可以通过命令desc formatted table\_name来查看一个表的详细信息。

2)拷贝表

只要表结构不要数据：![Image 1][]

要表结构和表数据：![Image 1][]

这个过程是要跑mapreduce作业的，所以yarn是要启起来的。

3)修改表![Image 1][]![Image 1][]

4)导数据![Image 1][]

使用load data这中方法从hdfs上面导入文件数据相当于剪切。

4. 内部表和外部表

刚才我们所创建的表都是内部表，什么是内部表呢？就是这个表的整个生命周期都是又hive来管理的，如果你删除这个表的话，那么hdfs上面的数据也将被删除，表对应的hdfs上面的路径也被删除了，MySQL上面的元数据也没了。

而外部表就是只删除MySQL上面的元数据，hdfs上面的路径和数据都还在，所以我们一般在创建外部表的时候也同时会指定一个hdfs数据存储的路径给他，不再使用默认情况。

CREATE EXTERNAL TABLE ruoze\_emp\_external (

empno int,

ename string,

job string,

mgr int,

hiredate string,

sal double,

comm double,

deptno int

)

row format delimited fields terminated by ‘\\t’

location ‘ruoze\_emp\_external’

;

生产上我们都是使用外部表来存储数据。

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，152人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive简介、DDL操作(建表、分区、导入导出等)

Hive分析框架一、Hive简述 Hive 建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析与管理 Hive架构的核心/本质 ...

朱雀/ 2024年04月17日 16:50/ 0 赞/ 46 阅读

相关大数据离线阶段07：Hive DDL建表高阶

四、Hive DDL建表高阶 Hive内、外部表什么是内部表内部表（Internal table）也称为被Hive拥有和管理的托管表（Managed ta

我就是我/ 2023年10月15日 16:04/ 0 赞/ 45 阅读

相关 Hive-DDL语句，数据库、表的基本操作

DDL语句，数据库、表的基本操作文章目录 DDL语句，数据库、表的基本操作 1 创建-数据库 2 查询-数据库 3

喜欢ヅ旅行/ 2023年03月04日 08:29/ 0 赞/ 12 阅读

相关 hive表ddl导出_【大数据10回】Hive的DDL建库和建表

学习hive的HQL的DDL相关语法，建议对照官方WIKI，因为语法参数较多，而且和SQL多有相似，不建议记忆，梳理记住相关可以实现的功能和注意点以及和SQL之间的区别即可。

谁践踏了优雅/ 2023年01月08日 15:24/ 0 赞/ 153 阅读

相关大数据从入门到实战 - Hive表DDL操作（二）

大数据从入门到实战 - Hive表DDL操作（二）一、关于此次实践 1、实战简介 2、全部任务二、实践详解 1、第1

我不是女神ヾ/ 2023年01月06日 05:30/ 0 赞/ 144 阅读

相关大数据从入门到实战 - Hive表DDL操作（一）

大数据从入门到实战 - Hive表DDL操作（一）一、关于此次实践 1、实战简介 2、全部任务二、实践详解 1、第1

电玩女神/ 2023年01月06日 05:30/ 0 赞/ 152 阅读

相关 Hive-DDL数据定义

DDL数据定义创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT datab

本是古典何须时尚/ 2022年09月05日 14:56/ 0 赞/ 204 阅读

相关 [Hive] 04 - HQL：数据定义（DDL）上-【数据库和表】

环境宿主机：Windows 10 64\_bit 虚拟机：VMware pro 12 CentOS 7.5 64\_bit（1个mast

男娘i/ 2022年01月17日 06:53/ 0 赞/ 460 阅读

相关 ORACLE表生成MYSQL建表DDL

ORACLE表生成MYSQL建表DDL 有同事问有没有ORACLE表转MYSQL语法的小工具，于是写了这个小函数，公开出来，也许有人用得上。 create or

亦凉/ 2021年12月12日 03:57/ 0 赞/ 482 阅读

相关 mysql的数据定义语言 DDL-建库、建表、修改表结构等

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

我不是女神ヾ/ 2021年12月03日 05:27/ 0 赞/ 290 阅读