Hive：前后端的数据传输案例实操

朴灿烈づ我的快乐病毒、 2024-03-17 23:08 63阅读 0赞

#### 简单了解前后端的数据传输 ####

![在这里插入图片描述][f88d1481f7104fe08f08cbfba2df838c.png_pic_center]

#### 数据结构映射 ####

（1）假设某表有如下一行，我们用JSON格式来表示其数据结构。在Hive下访问的格式为

{
        
        "name": "songsong",
        "friends": ["bingbing" , "lili"] ,       //列表Array, 
        "children": {
                              //键值Map,
            "xiao song": 19 ,
            "xiaoxiao song": 18
        }
        "address": {
                              //结构Struct,
            "street": "hui long guan" ,
            "city": "beijing" 
        }
    }

（2）基于上述数据结构，我们在Hive里创建对应的表，并导入数据。  
在目录/opt/module/hive/datas下创建本地测试文件personInfo.txt  
\[atguigu@hadoop102 datas\]$ vim personInfo.txt  
songsong,bingbing\_lili,xiao song:18\_xiaoxiao song:19,hui long guan\_beijing  
yangyang,caicai\_susu,xiao yang:18\_xiaoxiao yang:19,chao yang\_beijing  
注意：MAP，STRUCT和ARRAY里的元素间关系都可以用同一个字符表示，这里用“\_”。

#### 测试案例 ####

（1）Hive上创建测试表personInfo  
![在这里插入图片描述][62859f8f744245f1b851a538c8e2f95e.png_pic_center]

hive(default)>create table personInfo (
    name string,
    friends array<string>,
    children map<string, int>,
    address struct<street:string, city:string>
    )
    row format delimited
    fields terminated by ','
    collection items terminated by '_'
    map keys terminated by ':'
    lines terminated by '\n';

指定数据文件中行格式的分隔符  
指定字段之间用’,’进行分割  
指定集合类型的元素之间用’\_’进行分割  
指定map类型中key和value用’:’进行分割  
指定行之间的分隔符为’\\n’

（2）上传数据到hdfs中上述表的对应路径下  
\[atguigu@hadoop102 ~\]$ hadoop fs -put /opt/module/hive/datas/personInfo.txt /user/hive/warehouse/personInfo;

（3）访问三种集合列里的数据，以下分别是ARRAY，MAP，STRUCT的访问方式

hive (default)>
    select
    friends[1],
    children['xiao song'],
    address.city
    from personInfo
    where name="songsong";
    结果：
    _c0     _c1     city
    lili    18      beijing

[f88d1481f7104fe08f08cbfba2df838c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/d838867cf0094c358f848f704dfafead.png
[62859f8f744245f1b851a538c8e2f95e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/7052c1f601e34c9dbc0e0657fcbe8303.png