hive自定义udf实现md5功能

梦里梦外; 2022-08-22 04:49 222阅读 0赞

### Hive自定义UDF实现md5算法 ###

Hive发展至今，自身已经非常成熟了，但是为了灵活性，还是提供了各种各样的  
插件的方式，只有你想不到的，没有做不到的，主流的开源框架都有类似的机制，包括Hadoop,Solr,Hbase,ElasticSearch,这也是面向抽象编程的好处，非常容易扩展。

最近在使用hive1.2.0的版本，因为要给有一列的数据生成md5签名，便于查重数据使用，看了下hive的官网文档发现是支持的，后来在Hue里面试了下，发现不支持，还以为是Hue的问题于是在后台hive命令行里面试了下，发现同样不支持，官网的文档应该是Hive2.x的了所以不支持也有可能，但也没必要为了使用个md5函数就把hive升级到最新版本，那样有点本末倒置，那就写个UDF解决吧，以前写过Pig的UDF，非常简单，Hive的应该也不会太难，看了官网文档，果然非常easy，下面看下步骤：

#### （1） 继承UDF类，定义evaluate方法 ####

注意，这里用的是maven项目，只需要引入hive-exec包即可：  
`xml <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version> <scope>provided</scope> </dependency>`

evaluate方法并不是重写的方法，而是一个新的方法，Pig里面是需要重写exec方法，来完成自定义逻辑的，代码如下：  
““java  
package com.easy.md5;  
import com.google.common.base.Strings;  
import com.google.common.hash.Hashing;  
import org.apache.hadoop.hive.ql.exec.UDF;  
/\*\*  
\* Created by qindongliang on 2016/5/23.  
\* Hive自定义UDF，计算md5值  
\*/  
public class MD5 extends UDF \{  
/\*\*  
\* @param s 传入参数  
\* @return md5值  
\*/  
public String evaluate(final String s) \{  
if(Strings.isNullOrEmpty(s.trim()))\{  
return null;  
\}  
return Hashing.md5().hashString(s.trim()).toString();  
\}  
\}

““

### （2）注册Hive的UDF的jar包 ###

程序完成后，打包成jar，然后上传到对应的机器上，开始注册自己的UDF函数，这里有两种方式：

--------------------

**A:临时注册**

执行hive命令，进入终端：

`sql add jar /home/hive/udfs/hive-md5-guava-1.0.0.jar; create temporary function md5 as 'com.easy.md5.MD5'; select md5('hadoop'); --结果： 3abb766da6c2c2d7739f3cb7799a4caa`

--------------------

**B:永久注册（hive0.13之后支持）**

在linux上，上传jar包至HDFS中  
`shell hadoop fs -put hive-md5-guava-1.0.0.jar /user/tez/`  
进入hive终端  
““sql  
CREATE FUNCTION md5 AS ‘com.easy.md5.MD5’ USING JAR ‘hdfs:///user/tez/hive-md5-guava-1.0.0.jar’ ;  
select md5(‘hadoop’);  
–结果： 3abb766da6c2c2d7739f3cb7799a4caa  
–删除临时函数  
DROP TEMPORARY FUNCTION \[IF EXISTS\] function\_name;  
–删除永久函数  
DROP FUNCTION \[IF EXISTS\] function\_name;  
–重新加载函数 hive1.2.0之后支持  
RELOAD FUNCTION;

““  
这样就不用每次打开终端都需要注册了

### （3）如何在Hue中注册 ###

Hue是一款基于Web可视化提交任务的框架，由python编写，如果想要在hue中，使用自定义的UDF函数，需要稍作配置，否则使用过程中可能会报错，即使你在服务端已经注册过了。

![资源][C7888560BC414B3EACB91304C7949D3E]

### （4） 公众号：我是攻城师（woshigcs） 如有问题，可在后台留言咨询 ###

[C7888560BC414B3EACB91304C7949D3E]: /images/20220722/8ea3d202096e4e69994370e084c0f1a2.png