hive学习笔记之五：分桶

Bertha 。 2022-11-21 11:33 204阅读 0赞

### 欢迎访问我的GitHub ###

> 这里分类和汇总了欣宸的全部原创(含配套源码)：[https://github.com/zq2599/blog\_demos][https_github.com_zq2599_blog_demos]

### 《hive学习笔记》系列导航 ###

1.  [基本数据类型][Link 1]
2.  [复杂数据类型][Link 2]
3.  [内部表和外部表][Link 3]
4.  [分区表][Link 4]
5.  [分桶][Link 5]
6.  [HiveQL基础][HiveQL]
7.  [内置函数][Link 6]
8.  [Sqoop][]
9.  [基础UDF][UDF]
10. [用户自定义聚合函数(UDAF)][UDAF]
11. [UDTF][]

### 本篇概览 ###

本文是《hive学习笔记》的第五篇，前文学习了分区表，很容易发现分区表的问题：

1.  分区字段的每个值都会创建一个文件夹，值越多文件夹越多；
2.  不合理的分区会导致有的文件夹下数据过多，有的过少；  
    此时可以考虑分桶的方式来分解数据集，分桶原理可以参考MR中的HashPartitioner，将指定字段的值做hash后，根据桶的数量确定该记录放在哪个桶中，另外，在join查询和数据取样时，分桶都能提升查询效率；

*  接下来开始实战；

### 配置 ###

1.  执行以下设置，使得hive根据桶的数量自动调整上一轮reducers数量：

set hive.enforce.bucketing = true;

1.  如果不执行上述设置，您需要自行设置mapred.reduce.tasks参数，以控制reducers数量，本文咱们配置为hive自动调整；

### 准备数据 ###

接下来先准备外部表t13，往里面添加一些数据，将t13作为后面分桶表的数据源：

1.  表名t13，只有四个字段：

create external table t13 (name string, age int, province string, city string) 
    row format delimited 
    fields terminated by ',' 
    location '/data/external_t13';

1.  创建名为013.txt的文件，内容如下：

tom,11,guangdong,guangzhou
    jerry,12,guangdong,shenzhen
    tony,13,shanxi,xian
    john,14,shanxi,hanzhong

1.  将013.txt中的四条记录载入t13：

load data 
    local inpath '/home/hadoop/temp/202010/25/013.txt' 
    into table t13;

### 分桶 ###

1.  创建表t14，指定字段分桶，桶数量为16：

create table t14 (name string, age int, province string, city string) 
    clustered by (province, city) into 16 buckets
    row format delimited 
    fields terminated by ',';

1.  从t13导入数据，注意语法是from t13开始，要用overwrite关键字：

from t13
    insert overwrite table t14 
    select name, age, province, city;

1.  导入过程如下图所示，可见reducer数量已被自动调整为桶数量：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center]
2.  导入后，查看hdfs，可见被分为16个文件，(和分区对比一下，分区是不同的文件夹)：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 1]

### 取样 ###

执行以下语句，取样查看t14的数据：

hive> select * from t14 tablesample(bucket 1 out of 2 on province, city);
    OK
    tom	11	guangdong	guangzhou
    john	14	shanxi	hanzhong
    Time taken: 0.114 seconds, Fetched: 2 row(s)

*  至此，分桶操作就完成了，基础知识的实践已经完成，接下来开始一些进阶实践；

### 欢迎关注公众号：程序员欣宸 ###

> 微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界…

[https_github.com_zq2599_blog_demos]: https://github.com/zq2599/blog_demos
[Link 1]: https://xinchen.blog.csdn.net/article/details/109304044
[Link 2]: https://xinchen.blog.csdn.net/article/details/109344642
[Link 3]: https://xinchen.blog.csdn.net/article/details/109393908
[Link 4]: https://xinchen.blog.csdn.net/article/details/109404278
[Link 5]: https://xinchen.blog.csdn.net/article/details/109412454
[HiveQL]: https://xinchen.blog.csdn.net/article/details/109432395
[Link 6]: https://xinchen.blog.csdn.net/article/details/109440325
[Sqoop]: https://xinchen.blog.csdn.net/article/details/109445825
[UDF]: https://xinchen.blog.csdn.net/article/details/109457019
[UDAF]: https://xinchen.blog.csdn.net/article/details/109499956
[UDTF]: https://xinchen.blog.csdn.net/article/details/109530630
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/fb684402a5e147eab6783b6ce6e1e6c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/c2ae28749d2448278add35a26c9e52a1.png