hive 中 json 字符串解析之 get_json_object 与 json_tuple

た入场券 2022-01-26 03:17 578阅读 0赞

在技术对app进行埋点时，会讲多个字段存放在一个数组中，因此模型调用数据时，要对埋点数据进行解析，以作进一步的清洗。本文将介绍解析json字符串的两个函数：get\_json\_object和json\_tuple。

表结构如下：

其中meta 字段数据， 数据表是 test\_table

{
       {"a":1,"b":2},{"a":3,"b":4}}

**get\_json\_object**

函数的作用：用来解析json字符串的一个字段：

select get_json_object(meta,'$.a') as filtertype
    ,get_json_object(meta,'$.b')as filtersubtype 
    from  test_table

运行结果 仅有一条数据，其实应该是2条：

filtertype  filtersubtype
    1					2

**json\_tuple**  
函数的作用：用来解析json字符串中的多个字段

select b.a 
    ,b.b
    from test_table a
    lateral view json_tuple(meta,'a', 'b', ) b as  
    a, b;

运行结果：

filtertype  filtersubtype
    1					2
    3					4

# 使用正则表达式对json 数据进行处理 #

对于上面的test\_table 使用：

select get_json_object(B.stock_code,'$.a') as a,
    get_json_object(B.stock_code,'$.b') as b,
    from (
    	select split(regexp_replace(regexp_extract(meta
    	,'^\[(.+)\]$',1),'\\}\\,\\{', \'\}\\|\\|\\{''),'\\|\|') as stock_codes
    	from test_table
    ) A lateral view explode(A.stock_codes) B as stock_code

发表评论取消回复

表情：

评论列表（有 0 条评论，578人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java之解析json格式字符串

> 最近在做项目时，遇到将 json 格式字符串解析成 List 对象的情况，记录一下自己的解决方式，以供大家参考。要解析的字符串如下： \[\{"displayName

我就是我/ 2024年03月17日 14:34/ 0 赞/ 104 阅读

相关 Hive如何解析复杂的json字符串嵌套结构

内容目录 Hive解析json字符串一、json格式二、Hive解析json Hive解析json字符串

一时失言乱红尘/ 2023年10月04日 17:36/ 0 赞/ 100 阅读

相关 hive解析json数据

hive 处理json数据总体来说有两个方向的路走 1、将json以字符串的方式整个入Hive表，然后通过使用UDF函数解析已经导入到hive中的数据，比如使用LATERAL

缺乏、安全感/ 2022年10月07日 00:57/ 0 赞/ 263 阅读

相关解析json字符串

String resp=“需要解析的字符串json”; JSONObject jo = JSON.parseObject(resp); List: JSONArray

- 日理万妓/ 2022年10月07日 00:46/ 0 赞/ 222 阅读

相关解析 json 字符串

// 解析 json String json = "\{'status':200,'message':'查询成功','data':

Dear 丶/ 2022年05月22日 03:07/ 0 赞/ 314 阅读

相关 JAVA Json解析之json字符串转Map

前言昨天在修改订单这一块，因为我们可爱的产品大佬加了一个小小的新需求~~“首单”。哟呵？首单？：针对用户A，如果这个用户有推荐人B，那么B就是A的直接上级。如果C

左手的ㄟ右手/ 2022年05月21日 09:12/ 0 赞/ 395 阅读

相关 json字符串解析与类型转换

json字符串解析与类型转换示例 HTTP请求的返回值通常是以json字符串的形式，服务端在接收到返回值时，需要解析返回值得到想要的结果，包括状态码、数据等。这里介绍一下

ゞ浴缸里的玫瑰/ 2022年05月09日 03:22/ 0 赞/ 306 阅读

相关 Hive处理JSON字符串

hive处理JSON字符串，有固定的get\_json\_object函数可以使用测试数据 \{"store":\{"fruit":\[\{"weight":8,"typ

àì夳堔傛蜴生んèń/ 2022年04月24日 09:46/ 0 赞/ 513 阅读

相关 hive 中 json 字符串解析之 get_json_object 与 json_tuple

在技术对app进行埋点时，会讲多个字段存放在一个数组中，因此模型调用数据时，要对埋点数据进行解析，以作进一步的清洗。本文将介绍解析json字符串的两个函数：get\_json\

た入场券/ 2022年01月26日 03:17/ 0 赞/ 579 阅读

相关 hive中UDF开发：解析json对象和解析json数组对象

[https://blog.csdn.net/oTengYue/article/details/70255202][https_blog.csdn.net_oTengYue_a

川长思鸟来/ 2021年09月15日 04:18/ 0 赞/ 852 阅读