Hive 基础原理

淡淡的烟草味﹌ 2022-05-22 00:45 243阅读 0赞

**为什么有有hive ？**

便于一些不会java的人对HDFS上的数据执行MapReduec操作。

Hive是一种数据仓库

HIVE: 解释器      编译器       优化器   sql ——》执行计划

Hive运行时，元数据储存在关系型数据库里

Hive不支持事物，非实时，不支持行级别的CRUD。因为HDFS不支持

数据库：业务数据。  三大范式，减少冗余。给业务系统支撑

数据仓库：历史数据。HDFS 引入冗余，保证数据安全，面向分析

元数据：描述数据的数据（表的属性，字段）存储在关系型数据库里（mysql）（derby自带）

架构图      hadoop2.0以后把 job tracker 改为 resourcemanager

![70][]

连接hive的三种方式

1 cli    命令行

2 jdbc、odbc  通过thrift协议连接

3 web gui

4 流行工具 hue

Hive架构 ： 编译器将一个hive ql 转化成一个操作符

操作符是hive的最小处理单元

每个操作符代表HDFS上的一个操作或者一个MapReduce作业

操作符源码是一种树型结构

**Hive语法解析**

hive采用antlr词法语法解析工具解析hql

parser     将HQL转换成抽象语法树

semantic analyzer 将抽象语法树转化成查询块

logic plan generate  将查询块转化成逻辑查询计划

logical optimizer 重写逻辑查询计划

physical plan generator 将逻辑计划转化成物理执行计划 （mr jobs）

physical optimizer 选择最佳执行策略

**Hive三种模式**

**1  local 模式**

**采用自带的derby数据库存储元数据**

**2  单用户模式**

**采用mysql 存储元数据**

**![20180613134135452][]**

**3 多用户模式**

**用户非java客户端访问元数据数据库，在服务器端启动metastoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库**

**![20180613134058407][]**

**<name>hive.metastore.warehouse.dir</name>**

**这个文件夹在hdfs上存的是表的具体数据**

**表的元数据信息存在mysql里对应数据库里有两个表：TBLS里的TBL\_ID字段对应columns\_2的CD\_ID字段**

**hive里有一种hql不转化成mr job**

**包含\* 的查询 ，select \* from zxy；**

**                        select id from zxy；**

[70]: /images/20220522/e4ea6ecc478f47afad90d292563d235c.png
[20180613134135452]: /images/20220522/62678bf0728b403c9153709fc3ad1998.png
[20180613134058407]: /images/20220522/94eb727177f141c4b4dcddf25d48c8a4.png

发表评论取消回复

表情：

评论列表（有 0 条评论，243人围观）

还没有评论，来说两句吧...

相关阅读

相关 HIVE 基础（二）

目录 Hive数据类型 - 集合数据类型 Hive数据结构创建静态表加载本地文件加载HDFS文件加载数据后覆盖原数据创建分区表分区表插入数据查

冷不防/ 2024年03月26日 10:32/ 0 赞/ 78 阅读

相关【Hive-原理说明】数仓原理 & Hive说明

【Hive-原理说明】数仓原理 & Hive说明 1）数据仓库的特征 2）数据库和数据仓库的区别 3）数据仓库的分层架构 4）Hive的架构说明

电玩女神/ 2023年10月05日 16:25/ 0 赞/ 14 阅读

相关 Hive基础

一、什么是hive 　　（1）Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。　　（2）Hive是基于Hadoop的一个数据仓库工具，可以将结构

偏执的太偏执、/ 2023年06月12日 06:17/ 0 赞/ 19 阅读

相关 Hive(一)：基础

文章目录一、Hive简介 1.1 Hive概述 1.2 Hive的优缺点 1.3 Hive架构原理 1.4

青旅半醒/ 2023年02月17日 01:19/ 0 赞/ 129 阅读

相关 hive架构原理

-------------------- Hive架构原理 -------------------- 1）用户接口：Client CLI（command-line

我不是女神ヾ/ 2022年11月22日 12:43/ 0 赞/ 186 阅读

相关 hive 实践（二）：hive基本原理

Hive基本原理 hive是基于Hadoop的一个[数据仓库][Link 1]工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，

左手的ㄟ右手/ 2022年09月26日 04:56/ 0 赞/ 226 阅读

相关 hive基础概述

hive：数据仓库，Hive是一个基于Hadoop的数据仓库工具，将结构化的数据文件映射成一张表，并提供类SQL的查询功能。 HQL（hive quer

素颜马尾好姑娘i/ 2022年07月15日 06:28/ 0 赞/ 213 阅读

相关 hive基础知识

接触hive也有一段时间了，一直把它当做传统的数据库使用的，没有出现问题。昨天的时候遇到一个问题，就是hive表中的数据有重复了，领导让尽快出方案解决，我想都没想，直接

迷南。/ 2022年05月24日 04:29/ 0 赞/ 210 阅读

相关 Hive 基础原理

为什么有有hive ？便于一些不会java的人对HDFS上的数据执行MapReduec操作。 Hive是一种数据仓库 HIVE: 解释器编译器

淡淡的烟草味﹌/ 2022年05月22日 00:45/ 0 赞/ 244 阅读

相关 hive基础

（一）： Hive 是什么在接触一个新的事物首先要回到的问题是：这是什么？这里引用 Hive wiki 上的介绍： Hive is a d

港控/mmm°/ 2022年03月16日 06:28/ 0 赞/ 250 阅读