Hive创建自己的UDF并永久化详细记录

灰太狼 2022-05-20 02:49 177阅读 0赞

## 1.UDF是什么？ ##

hive的类SQL预发给数据挖掘工作者带来了很多便利，海量数据通过简单的sql就可以完成分析，有时候hive提供的函数功能满足不了业务需要，就需要我们自己来写UDF函数来辅助完成，下面用一个简单的例子说明过程，以及注意事项。  
  
UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成mapreduce程序后，执行java方法，类似于像Mapreduce执行过程中加入一个插件，方便扩展. UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF .

Hive可以允许用户编写自己定义的函数UDF，来在查询中使用

## 2.UDF类型 ##

Hive中有3种UDF：  
UDF：操作单个数据行，产生单个数据行；  
UDAF：操作多个数据行，产生一个数据行。

UDTF：操作一个数据行，产生多个数据行一个表作为输出。

## 3.如何构建UDF ##

用户构建的UDF使用基本过程如下：

第一步：继承UDF或者UDAF或者UDTF，实现特定的方法。  
第二步：将写好的类打包为jar。如CorrectResolution.jar。  
第三步：进入到Hive外壳环境中，利用add jar /home/hadoop/CorrectResolution.jar注册该jar文件  
第四步：为该类起一个别名，create temporary function correct\_resolution as 'correct\_resolution.CorrectResolution';这里注意UDF只是为这个Hive会话临时定义的。若要永久定义，参考如下代码：

第五步：在select中使用correct\_resolution();

## 4.UDF实战记录 ##

#### 4.1需求 ####

日志上报的手机分辨率正常下是 大\*小，例如 1280\*768。但是上传的日志中会存在颠倒的情况，如 768\*1280，在日志清洗时需要修正为1280\*768，保证所有分辨率格式为： 大\*小。

#### 4.2编写CorrectResolution.java文件 ####

package correct_resolution;
     
    import org.apache.hadoop.hive.ql.exec.UDF;
     
    public class CorrectResolution extends UDF {
        public String evaluate(String resolution) {
            try {
                String[] arrReso = resolution.split("\\*");
                int intReso0 = Integer.parseInt(arrReso[0]);
                int intReso1 = Integer.parseInt(arrReso[1]);
                return intReso0 < intReso1 ? arrReso[1]+"*"+arrReso[0] : resolution;
            } catch (Exception e) {
                return resolution;
            }
        }
    }

#### 4.3打包生成CorrectResolution.jar ####

*  Mac安装inteliJ，java8, maven。在preference设置maven好路径，选择你的jdk版本。讲maven/bin添加到path中。  
    
 *  编辑pom.xml文件，添加build配置如下。

<build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <mainClass>com.xx.growth.CorrectResolution</mainClass> 
                        </manifest>
                    </archive>
                </configuration>
            </plugin>
        </plugins>
    </build>

*  用maven打包生成jar包。
    
        mvn compile
        mvn package
        //会在target下面生成jar
        java -jar target/hello-1.0-SNAPSHOT.jar

####  ####

#### 4.4上传jar到hdfs目录中 ####

将当前目录下的.jar上传到hdfs的/usr/xx/xxx/udf/目录下。

hadoop fs -put   ./CorrectResolution.jar  /usr/xx/xxx/udf/

#### 4.5在hive命令行中添加该函数 ####

hive> create function growth.correct_resolution as 'correct_resolution.CorrectResolution' using JAR "hdfs://kingkong/usr/xx/xxx/udf/CorrectResolution.jar";
    converting to local hdfs://kingkong/usr/xx/xxx/udf/CorrectResolution.jar
    Added [/tmp/xx-xx-xx-xx-xx_resources/CorrectResolution.jar] to class path
    Added resources: [hdfs://kingkong/usr/xx/xxx/udf/CorrectResolution.jar]
    OK
    Time taken: 0.058 seconds
    hive> select growth.correct_resolution("768*1280"), 'xxx' as t;
    OK
    1280*768    xxx

那一串xx-xx-xx-xx其实是jar在hdfs中的location中。

hive> list jars;
    /tmp/511023ea-xx-xx-xx-xx/CorrectResolution.jar

添加完成完成之后，可以用show function查看。

hive> show functions;
    OK
    !
    !=
    %
    greatest
    hash
    hex
    ...
    ...
    histogram_numeric
    growth.correct_resolution

#### 4.6小坑一个 ####

Q: 进入了hive session，然后注册了UDF进行执行，如果发现问题重新打包添加后，重新注册UDF似乎是不会生效的，必须要退出再进入再注册才生效。难道想调试修改UDF，必须要退出Hive session再进去？

A: 这种通常都是两次添加的jar包全路径名称相同导致的。在一次hive session中不会重复加载相同全路径名称的jar包，所以给的直观感受是一直用的旧的。退出后再次进入会重新加载一次classpath。所以两种方法，一个是退出后再次进入，第二个就是修改jar包的名称不要和上次的一样就好了。