Hive内置函数

超、凢脫俗 2021-12-23 03:47 448阅读 0赞

## 数学函数 ##

下面表格中的函数为Hive的内置数学函数，大部分当参数为NULL时返回NULL。

## 集合函数 ##

下表为Hive中的集合函数。

##  ##

## 类型转换函数 ##

下表为Hive中的类型转换函数。

##  ##

## 日期函数 ##

下表中为Hive中的内置日期函数。

## 条件函数 ##

下表为Hive支持的一些条件函数。

##  ##

## 字符串函数 ##

下表为Hive内置的字符串函数。

<table> 
 <thead> 
 <tr> 
 <td style="vertical-align:top;"> 返回类型 </td> 
 <td style="vertical-align:top;"> 函数名 </td> 
 <td style="vertical-align:top;"> 描述 </td> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> int </td> 
 <td style="vertical-align:top;"> ascii(string str) </td> 
 <td style="vertical-align:top;"> 返回str第一个字符串的数值 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> base64(binary bin) </td> 
 <td style="vertical-align:top;"> 将二进制参数转换为base64字符串 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> concat(string|binary A, string|binary B...) </td> 
 <td style="vertical-align:top;"> 返回将A和B按顺序连接在一起的字符串，如：concat('foo', 'bar') 返回'foobar' </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> array&lt;struct&lt;string,double&gt;&gt; </td> 
 <td style="vertical-align:top;"> context_ngrams(array&lt;array&lt;string&gt;&gt;, array&lt;string&gt;, int K, int pf) </td> 
 <td style="vertical-align:top;"> 从一组标记化的句子中返回前k个文本 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> concat_ws(string SEP, string A, string B...) </td> 
 <td style="vertical-align:top;"> 类似concat() ，但使用自定义的分隔符SEP </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> concat_ws(string SEP, array&lt;string&gt;) </td> 
 <td style="vertical-align:top;"> 类似concat_ws() ，但参数为字符串数组 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> decode(binary bin, string charset) </td> 
 <td style="vertical-align:top;"> 使用指定的字符集将第一个参数解码为字符串，如果任何一个参数为null，返回null。可选字符集为： 'US_ASCII', 'ISO-8859-1', 'UTF-8', 'UTF-16BE', 'UTF-16LE', 'UTF-16' </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> binary </td> 
 <td style="vertical-align:top;"> encode(string src, string charset) </td> 
 <td style="vertical-align:top;"> 使用指定的字符集将第一个参数编码为binary ，如果任一参数为null，返回null </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> int </td> 
 <td style="vertical-align:top;"> find_in_set(string str, string strList) </td> 
 <td style="vertical-align:top;"> 返回str在strList中第一次出现的位置，strList为用逗号分隔的字符串，如果str包含逗号则返回0，若任何参数为null，返回null。如： find_in_set('ab', 'abc,b,ab,c,def') 返回3 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> format_number(number x, int d) </td> 
 <td style="vertical-align:top;"> 将数字x格式化为'#,###,###.##'，四舍五入为d位小数位，将结果做为字符串返回。如果d=0，结果不包含小数点或小数部分 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> get_json_object(string json_string, string path) </td> 
 <td style="vertical-align:top;"> 从基于json path的json字符串中提取json对象，返回json对象的json字符串，如果输入的json字符串无效返回null。Json 路径只能有数字、字母和下划线，不允许大写和其它特殊字符 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> boolean </td> 
 <td style="vertical-align:top;"> in_file(string str, string filename) </td> 
 <td style="vertical-align:top;"> 如果str在filename中以正行的方式出现，返回true </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> int </td> 
 <td style="vertical-align:top;"> instr(string str, string substr) </td> 
 <td style="vertical-align:top;"> 返回substr在str中第一次出现的位置。若任何参数为null返回null，若substr不在str中返回0。Str中第一个字符的位置为1 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> int </td> 
 <td style="vertical-align:top;"> length(string A) </td> 
 <td style="vertical-align:top;"> 返回A的长度 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> int </td> 
 <td style="vertical-align:top;"> locate(string substr, string str[, int pos]) </td> 
 <td style="vertical-align:top;"> 返回substr在str的位置pos后第一次出现的位置 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> lower(string A) lcase(string A) </td> 
 <td style="vertical-align:top;"> 返回字符串的小写形式 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> lpad(string str, int len, string pad) </td> 
 <td style="vertical-align:top;"> 将str左侧用字符串pad填充，长度为len </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> ltrim(string A) </td> 
 <td style="vertical-align:top;"> 去掉字符串A左侧的空格，如：ltrim(' foobar ')的结果为'foobar ' </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> array&lt;struct&lt;string,double&gt;&gt; </td> 
 <td style="vertical-align:top;"> ngrams(array&lt;array&lt;string&gt;&gt;, int N, int K, int pf) </td> 
 <td style="vertical-align:top;"> 从一组标记化的Returns the top-k 句子中返回前K个N-grams </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> parse_url(string urlString, string partToExtract [, string keyToExtract]) </td> 
 <td style="vertical-align:top;"> 返回给定URL的指定部分，partToExtract的有效值包括HOST，PATH， QUERY， REF， PROTOCOL， AUTHORITY，FILE和USERINFO。例如： &nbsp;parse_url('http://facebook.com/path1/p.php?k1=v1&amp;k2=v2#Ref1', 'HOST') 返回 'facebook.com'.。当第二个参数为QUERY时，可以使用第三个参数提取特定参数的值，例如： parse_url('http://facebook.com/path1/p.php?k1=v1&amp;k2=v2#Ref1', 'QUERY', 'k1') 返回'v1' </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> printf(String format, Obj... args) </td> 
 <td style="vertical-align:top;"> 将输入参数进行格式化输出 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> regexp_extract(string subject, string pattern, int index) </td> 
 <td style="vertical-align:top;"> 使用pattern从给定字符串中提取字符串。如： regexp_extract('foothebar', 'foo(.*?)(bar)', 2) 返回'bar' 有时需要使用预定义的字符类：使用'\s' 做为第二个参数将匹配s，'s'匹配空格等。参数index是Java正则匹配器方法group()方法中的索引 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT) </td> 
 <td style="vertical-align:top;"> 使用REPLACEMENT替换字符串INITIAL_STRING中匹配PATTERN的子串，例如： regexp_replace("foobar", "oo|ar", "") 返回'fb' </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> repeat(string str, int n) </td> 
 <td style="vertical-align:top;"> 将str重复n次 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> reverse(string A) </td> 
 <td style="vertical-align:top;"> 将字符串A翻转 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> rpad(string str, int len, string pad) </td> 
 <td style="vertical-align:top;"> 在str的右侧使用pad填充至长度len </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> rtrim(string A) </td> 
 <td style="vertical-align:top;"> 去掉字符串A右侧的空格，如： rtrim(' foobar ') 返回 ' foobar' </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> array&lt;array&lt;string&gt;&gt; </td> 
 <td style="vertical-align:top;"> sentences(string str, string lang, string locale) </td> 
 <td style="vertical-align:top;"> 将自然语言文本处理为单词和句子，每个句子在适当的边界分割，返回单词的数组。参数lang和local为可选参数，例如： sentences('Hello there! How are you?') 返回( ("Hello", "there"), ("How", "are", "you") ) </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> space(int n) </td> 
 <td style="vertical-align:top;"> 返回n个空格的字符串 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> array </td> 
 <td style="vertical-align:top;"> split(string str, string pat) </td> 
 <td style="vertical-align:top;"> 用pat分割字符串str，pat为正则表达式 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> map&lt;string,string&gt; </td> 
 <td style="vertical-align:top;"> str_to_map(text[, delimiter1, delimiter2]) </td> 
 <td style="vertical-align:top;"> 使用两个分隔符将文本分割为键值对。第一个分隔符将文本分割为K-V 对，第二个分隔符分隔每个K-V 对。默认第一个分隔符为“，“，第二个分隔符为= </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> substr(string|binary A, int start) substring(string|binary A, int start) </td> 
 <td style="vertical-align:top;"> 返回A从位置start直到结尾的子串 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> substr(string|binary A, int start, int len) substring(string|binary A, int start, int len) </td> 
 <td style="vertical-align:top;"> 返回A中从位置start开始，长度为len的子串，如： substr('foobar', 4, 1) 返回 'b' </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> translate(string input, string from, string to) </td> 
 <td style="vertical-align:top;"> 将input中出现在from中的字符替换为to中的字符串，如果任何参数为null，结果为null </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> trim(string A) </td> 
 <td style="vertical-align:top;"> 去掉字符串A两端的空格 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> binary </td> 
 <td style="vertical-align:top;"> unbase64(string str) </td> 
 <td style="vertical-align:top;"> 将base64字符串转换为二进制 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> string </td> 
 <td style="vertical-align:top;"> upper(string A) ucase(string A) </td> 
 <td style="vertical-align:top;"> 返回字符串A的大写形式 </td> 
 </tr> 
 </tbody> 
</table>

## 聚合函数 ##

下表为Hive内置的聚合函数。

##  ##

## 内置 Table-Generating函数（UDTF） ##

正常的用户定义函数，如concat，输入一个单行然后输出一个单行，但table-generating函数将一个单输入行转换为多个输出行。下表为Hive内置的table-generating函数。

使用语法”SELECT udtf(col) AS colAlias...”有以下几点限制：

*  在SELECT中不允许再有其他表达式：不支持SELECT pageid, explode(adid\_list) AS myCol...
 *  UDTF不能够嵌套使用：不支持SELECT explode(explode(adid\_list)) AS myCol...
 *  不支持GROUP BY /CLUSTER BY / DISTRIBUTE BY / SORT BY：不支持SELECT explode(adid\_list) AS myCol ... GROUP BY myCol