HIVE中get_json_object与json_tuple使用

港控/mmm° 2023-02-13 14:41 9阅读 0赞

# HIVE中get\_json\_object与json\_tuple使用 #

![original.png][]

[Running\_you][Running_you] 2015-12-08 10:25:30 ![articleRead.png][] 49181  ![collect.png][] ![tobarCollectionActive.png][] 收藏  2

最后发布:2015-12-08 10:25:30 首发:2015-12-08 10:25:30

分类专栏： [ 工具 ][Link 1] [ Hive ][Hive] [ 函数 ][Link 2]

本文链接： [https://blog.csdn.net/sinat\_29508201/article/details/50215351][https_blog.csdn.net_sinat_29508201_article_details_50215351]

展开

hive中提供了两种针对json数据格式解析的函数，即get\_json\_object（…）与json\_tuple(…)，理论不多说，直接上效果示意图：

假设存在如下json数据对象，若使用hive环境可这么设置：

set hivevar:msg={
    "message":"2015/12/08 09:14:4", 
    "client": "10.108.24.253", 
    "server": "passport.suning.com", 
    "request": "POST /ids/needVerifyCode HTTP/1.1",
    "server": "passport.sing.co",
    "version":"1",
    "timestamp":"2015-12-08T01:14:43.273Z",
    "type":"B2C","center":"JSZC",
    "system":"WAF","clientip":"192.168.61.4",
    "host":"wafprdweb03",
    "path":"/usr/local/logs/waf.error.log",
    "redis":"192.168.24.46"}

*  **get\_json\_object函数**

当使用get\_json\_object函数时，则可以这么用：

> select get\_json\_object(‘$\{hivevar:msg\}’,’$.server’) from test;

> passport.sing.com

其中，get\_json\_object函数第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 \[\] 读取对象或数组；

*  **json\_tuple函数**  
    当使用json\_tuple对象时，可以显著提高效率，一次获取多个对象并且可以被组合使用，写法如下：

> select a.\* from test lateral view json\_tuple(‘$\{hivevar:msg\}’,’server’,’host’) a as f1,f2;

> passport.sing.com wafprdweb03

其中，需要使用lateral view 视图方法来写，不需要加$标示符读取对象，获取的f1,f2对象可用于array()或map()等函数使用

*  ***另附：parse\_url函数使用案例***

parse\_url(‘[http://facebook.com/path/p1.php?query=1][http_facebook.com_path_p1.php_query_1]‘, ‘HOST’)返回’facebook.com’ ，  
parse\_url(‘[http://facebook.com/path/p1.php?query=1][http_facebook.com_path_p1.php_query_1]‘, ‘PATH’)返回’/path/p1.php’ ，  
parse\_url(‘[http://facebook.com/path/p1.php?query=1][http_facebook.com_path_p1.php_query_1]‘, ‘QUERY’)返回’query=1’，  
或，可以指定key来返回特定参数，key的格式是QUERY:，  
例如：QUERY:k1  
parse\_url(‘[http://facebook.com/path/p1.php?query=1\#Ref][http_facebook.com_path_p1.php_query_1_Ref]‘, ‘REF’)返回’Ref’  
parse\_url(‘[http://facebook.com/path/p1.php?query=1\#Ref][http_facebook.com_path_p1.php_query_1_Ref]‘, ‘PROTOCOL’)返回’http’

[original.png]: https://csdnimg.cn/release/phoenix/template/new_img/original.png
[Running_you]: https://me.csdn.net/sinat_29508201
[articleRead.png]: https://csdnimg.cn/release/phoenix/template/new_img/articleRead.png
[collect.png]: https://csdnimg.cn/release/phoenix/template/new_img/collect.png
[tobarCollectionActive.png]: https://csdnimg.cn/release/phoenix/template/new_img/tobarCollectionActive.png
[Link 1]: https://blog.csdn.net/sinat_29508201/category_5632481.html
[Hive]: https://blog.csdn.net/sinat_29508201/category_5665387.html
[Link 2]: https://blog.csdn.net/sinat_29508201/category_6010389.html
[CC 4.0 BY-SA]: http://creativecommons.org/licenses/by-sa/4.0/
[https_blog.csdn.net_sinat_29508201_article_details_50215351]: https://blog.csdn.net/sinat_29508201/article/details/50215351
[http_facebook.com_path_p1.php_query_1]: http://facebook.com/path/p1.php?query=1
[http_facebook.com_path_p1.php_query_1_Ref]: http://facebook.com/path/p1.php?query=1#Ref