Hive学习总结（三）之元数据Metastore

深藏阁楼爱情的钟 2023-02-21 06:43 16阅读 0赞

### 元数据Metastore ###

*   *   *  1、元数据
         *  2、MySQL中Hive数据库相关的元数据表
         *   *  2.1、DBS表
         *  3、Hive表和视图相关的元数据表
         *   *  3.1、TBLS表
         *  4、Hive文件存储信息相关的元数据表
         *   *  4.1、SDS表
             *  4.2、SD\_PARAMS表
             *  4.3、SERDES表
             *  4.4、SERDE\_PARAMS表
         *  5、Hive表分区相关的元数据表
         *   *  5.1、PARTITIONS表
             *  5.2、PARTITION\_KEYS表
             *  5.3、PARTITION\_KEY\_VALS表
             *  5.4、PARTITION\_PARAMS表

### 1、元数据 ###

**元数据（Metadata）**，又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。

Hive中的Metastore默认存储在自带的derby数据库中，但是我们推荐使用MySQL存储Metastore;因为存储在derby数据库，hive只能开启一个客户端，使用mysql数据库既可以实现多客户端操作。

### 2、MySQL中Hive数据库相关的元数据表 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]

#### 2.1、DBS表 ####

DBS表中存储Hive中所有数据库的基本信息。  
![在这里插入图片描述][20200629155158105.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DB_ID</td> 
   <td>数据库ID</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>DESC</td> 
   <td>数据库描述</td> 
   <td>测试库</td> 
  </tr> 
  <tr> 
   <td>DB_LOCATION_URI</td> 
   <td>数据库HDFS路径</td> 
   <td>hdfs://namenode/user/hive/warehouse/lxw1234.db</td> 
  </tr> 
  <tr> 
   <td>NAME</td> 
   <td>数据库名</td> 
   <td>lxw1234</td> 
  </tr> 
  <tr> 
   <td>OWNER_NAME</td> 
   <td>数据库所有者用户名</td> 
   <td>lxw1234</td> 
  </tr> 
  <tr> 
   <td>OWNER_TYPE</td> 
   <td>所有者角色</td> 
   <td>USER</td> 
  </tr> 
 </tbody> 
</table>

### 3、Hive表和视图相关的元数据表 ###

主要有TBLS、TABLE\_PARAMS、TBL\_PRIVS，这三张表通过TBL\_ID关联。

#### 3.1、TBLS表 ####

TBLS表中存储Hive表、视图、索引表的基本信息。  
![在这里插入图片描述][20200629155556501.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>TBL_ID</td> 
   <td>表ID</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>CREATE_TIME</td> 
   <td>创建时间</td> 
   <td>1593333637</td> 
  </tr> 
  <tr> 
   <td>DB_ID 数据库ID</td> 
   <td>对应DBS中的DB_ID</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>LAST_ACCESS_TIME</td> 
   <td>上次访问时间</td> 
   <td>0(类似1593333637)</td> 
  </tr> 
  <tr> 
   <td>OWNER</td> 
   <td>所有者</td> 
   <td>root</td> 
  </tr> 
  <tr> 
   <td>RETENTION</td> 
   <td>保留字段</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>SD_ID 序列化配置信息</td> 
   <td>对应SDS表中的SD_ID</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>TBL_NAME</td> 
   <td>表名</td> 
   <td>emails_text</td> 
  </tr> 
  <tr> 
   <td>TBL_TYPE</td> 
   <td>表类型</td> 
   <td>MANAGED_TABLE、EXTERNAL_TABLE(外部表)、INDEX_TABLE、VIRTUAL_VIEW</td> 
  </tr> 
  <tr> 
   <td>VIEW_EXPANDED_TEXT</td> 
   <td>视图的详细HQL语句</td> 
   <td>select <code>root</code>.<code>myhive</code>, <code>peoples</code>.<code>name</code> from <code>root</code>.<code>myhive</code></td> 
  </tr> 
  <tr> 
   <td>VIEW_ORIGINAL_TEXT</td> 
   <td>视图的原始HQL语句</td> 
   <td>select * from emails_text</td> 
  </tr> 
 </tbody> 
</table>

### 4、Hive文件存储信息相关的元数据表 ###

主要涉及**SDS、SD\_PARAMS、SERDES、SERDE\_PARAMS**  
由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

#### 4.1、SDS表 ####

SDS表保存文件存储的基本信息，如INPUT\_FORMAT、OUTPUT\_FORMAT、是否压缩等。  
TBLS表中的SD\_ID与该表关联，可以获取Hive表的存储信息。  
![在这里插入图片描述][20200629160746371.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SD_ID</td> 
   <td>存储信息ID</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>CD_ID 字段信息ID</td> 
   <td>对应CDS表</td> 
   <td>23</td> 
  </tr> 
  <tr> 
   <td>INPUT_FORMAT</td> 
   <td>文件输入格式</td> 
   <td>org.apache.hadoop.mapred.TextInputFormat</td> 
  </tr> 
  <tr> 
   <td>IS_COMPRESSED</td> 
   <td>是否压缩</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>IS_STOREDASSUBDIRECTORIES</td> 
   <td>是否以子目录存储</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>LOCATION</td> 
   <td>HDFS路径</td> 
   <td>hdfs://localhost:9000/user/hive/warehouse/myhive.db/emails_text</td> 
  </tr> 
  <tr> 
   <td>NUM_BUCKETS</td> 
   <td>分桶数量</td> 
   <td>-1</td> 
  </tr> 
  <tr> 
   <td>OUTPUT_FORMAT</td> 
   <td>文件输出格式</td> 
   <td>org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat</td> 
  </tr> 
  <tr> 
   <td>SERDE_ID 序列化类ID</td> 
   <td>对应SERDES表</td> 
   <td>8</td> 
  </tr> 
 </tbody> 
</table>

#### 4.2、SD\_PARAMS表 ####

SD\_PARAMS表存储Hive存储的属性信息，在创建表时候使用  
STORED BY ‘storage.handler.class.name’ \[WITH SERDEPROPERTIES (…)指定。  
![在这里插入图片描述][20200629161206180.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SD_ID</td> 
   <td>存储配置ID</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>PARAM_KEY</td> 
   <td>存储属性名</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>PARAM_VALUE</td> 
   <td>存储属性值</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

#### 4.3、SERDES表 ####

SERDES表存储序列化使用的类信息  
![在这里插入图片描述][20200629161229701.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SERDE_ID</td> 
   <td>序列化类配置ID</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>NAME</td> 
   <td>序列化类别名</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>SLIB</td> 
   <td>序列化类</td> 
   <td>org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe</td> 
  </tr> 
 </tbody> 
</table>

#### 4.4、SERDE\_PARAMS表 ####

SERDE\_PARAMS表存储序列化的一些属性、格式信息,比如：行、列分隔符  
![在这里插入图片描述][20200629161324685.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SERDE_ID</td> 
   <td>序列化类配置ID</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>PARAM_KEY</td> 
   <td>属性名</td> 
   <td>field.delim</td> 
  </tr> 
  <tr> 
   <td>PARAM_VALUE</td> 
   <td>属性值</td> 
   <td>,</td> 
  </tr> 
 </tbody> 
</table>

### 5、Hive表分区相关的元数据表 ###

主要涉及PARTITIONS、PARTITION\_KEYS、PARTITION\_KEY\_VALS、PARTITION\_PARAMS

#### 5.1、PARTITIONS表 ####

PARTITIONS表存储表分区的基本信息。  
![在这里插入图片描述][20200629161531557.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>PART_ID</td> 
   <td>分区ID</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>CREATE_TIME</td> 
   <td>分区创建时间</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>LAST_ACCESS_TIME</td> 
   <td>最后一次访问时间</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>PART_NAME</td> 
   <td>分区名</td> 
   <td>pt=</td> 
  </tr> 
  <tr> 
   <td>SD_ID</td> 
   <td>分区存储ID</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>TBL_ID</td> 
   <td>表ID</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

#### 5.2、PARTITION\_KEYS表 ####

PARTITION\_KEYS表存储分区的字段信息。  
![在这里插入图片描述][20200629161721722.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>TBL_ID</td> 
   <td>表ID</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>PKEY_COMMENT</td> 
   <td>分区字段说明</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>PKEY_NAME</td> 
   <td>分区字段名</td> 
   <td>pt</td> 
  </tr> 
  <tr> 
   <td>PKEY_TYPE</td> 
   <td>分区字段类型</td> 
   <td>string</td> 
  </tr> 
  <tr> 
   <td>INTEGER_IDX</td> 
   <td>分区字段顺序</td> 
   <td>1</td> 
  </tr> 
 </tbody> 
</table>

#### 5.3、PARTITION\_KEY\_VALS表 ####

PARTITION\_KEY\_VALS表存储分区字段值。  
![在这里插入图片描述][20200629161754458.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>PART_ID</td> 
   <td>分区ID</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>PART_KEY_VAL</td> 
   <td>分区字段值</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>INTEGER_IDX</td> 
   <td>分区字段值顺序</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

#### 5.4、PARTITION\_PARAMS表 ####

PARTITION\_PARAMS表存储分区的属性信息。  
![在这里插入图片描述][20200629161926814.png]

<table> 
 <thead> 
  <tr> 
   <th>元数据表字段</th> 
   <th>说明</th> 
   <th>示例数据</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>PART_ID</td> 
   <td>分区ID</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>PARAM_KEY</td> 
   <td>分区属性名</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>PARAM_VALUE</td> 
   <td>分区属性值</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200629154908795.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA==,size_16,color_FFFFFF,t_70
[20200629155158105.png]: https://img-blog.csdnimg.cn/20200629155158105.png
[20200629155556501.png]: https://img-blog.csdnimg.cn/20200629155556501.png
[20200629160746371.png]: https://img-blog.csdnimg.cn/20200629160746371.png
[20200629161206180.png]: https://img-blog.csdnimg.cn/20200629161206180.png
[20200629161229701.png]: https://img-blog.csdnimg.cn/20200629161229701.png
[20200629161324685.png]: https://img-blog.csdnimg.cn/20200629161324685.png
[20200629161531557.png]: https://img-blog.csdnimg.cn/20200629161531557.png
[20200629161721722.png]: https://img-blog.csdnimg.cn/20200629161721722.png
[20200629161754458.png]: https://img-blog.csdnimg.cn/20200629161754458.png
[20200629161926814.png]: https://img-blog.csdnimg.cn/20200629161926814.png