hive学习笔记之九：基础UDF

曾经终败给现在 2022-11-22 00:03 142阅读 0赞

### 欢迎访问我的GitHub ###

> 这里分类和汇总了欣宸的全部原创(含配套源码)：[https://github.com/zq2599/blog\_demos][https_github.com_zq2599_blog_demos]

### 《hive学习笔记》系列导航 ###

1.  [基本数据类型][Link 1]
2.  [复杂数据类型][Link 2]
3.  [内部表和外部表][Link 3]
4.  [分区表][Link 4]
5.  [分桶][Link 5]
6.  [HiveQL基础][HiveQL]
7.  [内置函数][Link 6]
8.  [Sqoop][]
9.  [基础UDF][UDF]
10. [用户自定义聚合函数(UDAF)][UDAF]
11. [UDTF][]

### 本篇概览 ###

*  本文是《hive学习笔记》的第九篇，前面学习的内置函数尽管已经很丰富，但未必能满足各种场景下的个性化需求，此时可以开发用户自定义函数（User Defined Function，UDF），按照个性化需求自行扩展；
 *  本篇内容就是开发一个UDF，名为udf\_upper，功能是将字符串字段转为全大写，然后在hive中使用这个UDF，效果如下图红框所示：  
    ![在这里插入图片描述][20201103143614530.jpg_pic_left]
 *  本篇有以下章节：

1.  开发
2.  部署和验证（临时函数）
3.  部署和验证（永久函数）

### 源码下载 ###

1.  如果您不想编码，可以在GitHub下载所有源码，地址和链接信息如下表所示：

<table> 
 <thead> 
  <tr> 
   <th align="left">名称</th> 
   <th align="left">链接</th> 
   <th align="left">备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">项目主页</td> 
   <td align="left">https://github.com/zq2599/blog_demos</td> 
   <td align="left">该项目在GitHub上的主页</td> 
  </tr> 
  <tr> 
   <td align="left">git仓库地址(https)</td> 
   <td align="left">https://github.com/zq2599/blog_demos.git</td> 
   <td align="left">该项目源码的仓库地址，https协议</td> 
  </tr> 
  <tr> 
   <td align="left">git仓库地址(ssh)</td> 
   <td align="left">git@github.com:zq2599/blog_demos.git</td> 
   <td align="left">该项目源码的仓库地址，ssh协议</td> 
  </tr> 
 </tbody> 
</table>

1.  这个git项目中有多个文件夹，本章的应用在hiveudf文件夹下，如下图红框所示：  
    ![在这里插入图片描述][20201103100243951.jpg_pic_center]

### 开发 ###

1.  新建名为hiveudf的maven工程，pom.xml内容如下，有两处需要关注的地方，接下来马上讲到：

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>com.bolingcavalry</groupId>
        <artifactId>hiveudf</artifactId>
        <version>1.0-SNAPSHOT</version>
    
        <dependencies>
            <dependency>
                <groupId>org.apache.hive</groupId>
                <artifactId>hive-exec</artifactId>
                <version>1.2.2</version>
                <scope>provided</scope>
                <exclusions>
                    <exclusion>
                        <groupId>org.pentaho</groupId>
                        <artifactId>pentaho-aggdesigner-algorithm</artifactId>
                    </exclusion>
                </exclusions>
            </dependency>
    
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-common</artifactId>
                <version>2.7.7</version>
                <scope>provided</scope>
            </dependency>
        </dependencies>
    </project>

1.  上述pom.xml中，两个依赖的scope为provided，因为这个maven工程最终只需要将咱们写的java文件构建成jar，所以依赖的库都不需要；
2.  上述pom.xml中排除了pentaho-aggdesigner-algorithm，是因为从maven仓库下载不到这个库，为了能快速编译我的java代码，这种排除的方式是最简单的，毕竟我用不上（另一种方法是手动下载此jar，再用maven install命令部署在本地）；
3.  创建Upper.java，代码如下非常简单，只需存在名为evaluate的public方法即可：

package com.bolingcavalry.hiveudf.udf;
    
    import org.apache.commons.lang.StringUtils;
    import org.apache.hadoop.hive.ql.exec.UDF;
    
    public class Upper extends UDF { 
    
        /** * 如果入参是合法字符串，就转为小写返回 * @param str * @return */
        public String evaluate(String str) { 
            return StringUtils.isBlank(str) ? str : str.toUpperCase();
        }
    }

1.  编码已完成，执行mvn clean package -U编译构建，在target目录下得到hiveudf-1.0-SNAPSHOT.jar文件；
2.  接下来将咱们做好的UDF部署在hive，验证功能是否正常；

### 部署和验证（临时函数） ###

1.  如果希望UDF只在本次hive会话中生效，可以部署为临时函数，下面是具体的步骤；
2.  将刚才创建的hiveudf-1.0-SNAPSHOT.jar文件下载到hive服务器，我这边路径是/home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar；
3.  开启hive会话，执行以下命令添加jar：

add jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

1.  执行以下命令创建名为udf\_upper的临时函数：

create temporary function udf_upper as 'com.bolingcavalry.hiveudf.udf.Upper';

1.  找一个有数据并且有string字段的表（我这是student表，其name字段是string类型），执行以下命令：

select name, udf_upper(name) from student;

1.  执行结果如下，红框中可见udf\_upper函数将name字段转为大写：  
    ![在这里插入图片描述][20201103104725144.jpg_pic_left]
2.  这个UDF只在当前会话窗口生效，当您关闭了窗口此函数就不存在了；
3.  如果您想在当前窗口将这个UDF清理掉，请依次执行以下两个命令：

drop temporary function if exists udf_upper;
    delete jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

1.  删除后再使用udf\_upper会报错：

hive> select name, udf_upper(name) from student;
    FAILED: SemanticException [Error 10011]: Line 1:13 Invalid function 'udf_upper'

### 部署和验证（永久函数） ###

1.  前面体验了临时函数，接下来试试如何让这个UDF永久生效(并且对所有hive会话都生效)；
2.  在hdfs创建文件夹：

/home/hadoop/hadoop-2.7.7/bin/hadoop fs -mkdir /udflib

1.  将jar文件上传到hdfs：

/home/hadoop/hadoop-2.7.7/bin/hadoop fs -put /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar /udflib/

1.  在hive会话窗口执行以下命令，使用hdfs中的jar文件创建函数，要注意的是jar文件地址是hdfs地址，一定不要漏掉hdfs:前缀：

create function udf_upper as 'com.bolingcavalry.hiveudf.udf.Upper'
    using jar 'hdfs:///udflib/hiveudf-1.0-SNAPSHOT.jar';

1.  试一下这个UDF，如下图，没有问题：  
    ![在这里插入图片描述][20201103114630911.jpg_pic_left]
2.  新开hive会话窗口尝试上述sql，依旧没有问题，证明UDF是永久生效的；

*  至此，咱们已经对hive的UDF的创建、部署、使用都有了基本了解，但是本篇的UDF太过简单，只能用在一进一出的场景，接下来的文章咱们继续学习多进一出和一进多出。

### 欢迎关注公众号：程序员欣宸 ###

> 微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界…

[https_github.com_zq2599_blog_demos]: https://github.com/zq2599/blog_demos
[Link 1]: https://xinchen.blog.csdn.net/article/details/109304044
[Link 2]: https://xinchen.blog.csdn.net/article/details/109344642
[Link 3]: https://xinchen.blog.csdn.net/article/details/109393908
[Link 4]: https://xinchen.blog.csdn.net/article/details/109404278
[Link 5]: https://xinchen.blog.csdn.net/article/details/109412454
[HiveQL]: https://xinchen.blog.csdn.net/article/details/109432395
[Link 6]: https://xinchen.blog.csdn.net/article/details/109440325
[Sqoop]: https://xinchen.blog.csdn.net/article/details/109445825
[UDF]: https://xinchen.blog.csdn.net/article/details/109457019
[UDAF]: https://xinchen.blog.csdn.net/article/details/109499956
[UDTF]: https://xinchen.blog.csdn.net/article/details/109530630
[20201103143614530.jpg_pic_left]: /images/20221120/30108d8da13f4f1bbdbc6db13bb15ccc.png
[20201103100243951.jpg_pic_center]: /images/20221120/804b738dc260462fa9c69e2d9183360c.png
[20201103104725144.jpg_pic_left]: https://img-blog.csdnimg.cn/20201103104725144.jpg#pic_left
[20201103114630911.jpg_pic_left]: https://img-blog.csdnimg.cn/20201103114630911.jpg#pic_left