hive两拼接字段对比，涉及到的拼接字段拼接顺序问题

男娘i 2023-02-21 02:28 15阅读 0赞

**背景**：将用户宽表重构，其中指标包含收藏数、转发数等内容，需要把每天全量数据展示出来，又因全量数据量太大()，将每天的新更新的数据单独写入一张表，存redis。

**思路**：1、需求包含有类似情形的好几个指标，如：1、3、7、30、45天收藏数、转发数等；  
2、将有相似情形的指标做一张中间表，将涉及维度1、3、7、30、45天的指标拼接为1个字段，从而不用再写冗杂的数据逻辑，如：

1.  之前的写法：每一个维度指标都会出具一个字段

<table> 
 <thead> 
  <tr> 
   <th>collect_work_1day</th> 
   <th>all_forwarduserwork_3day</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>111</td> 
   <td>222</td> 
  </tr> 
 </tbody> 
</table>

1.  改变后的写法：包含所有类似行为收藏、转发等

<table> 
 <thead> 
  <tr> 
   <th>behavior_content</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>all_forwarduserwork=7:1;30:1&amp;collect_work=7:28;30:28&amp;listen_work=30:3;7:3</td> 
  </tr> 
 </tbody> 
</table>

**发现问题**：到上一步结束全部输出到全量表后(以下叫a表)，着手准备更新到每天新增或修改的数据的表内(以下叫b表)，至此，会发现输出到b表的数据量特别大(690万左右)，推断表内有大量重复数据，排查后发现，拼接字段behavior\_content中由于拼接顺序随机，导致很多数据明显是同一用户的同一条没有变更过的数据，却最终显示为该用户变更或更新过的数据，最终导致输出到b表内。

其中拼接分两步做：

1.  拼接天数维度：该行为发生的次数

concat_ws(
                ';'
                ,collect_list(CONCAT(date_item,':',pv))
            ) AS date_item_pv

1.  拼接行为类型=(天数:次数)

concat_ws(
                '&'
                ,collect_list( CONCAT( ac_type ,'=' ,date_item_pv ))
            ) AS type_day_pv

解决问题：  
两种方式：

1.  sort\_array

concat_ws(
                '&'
                ,sort_array(collect_list( CONCAT( ac_type ,'=' ,date_item_pv )))
            ) AS type_day_pv

1.  collect\_set

concat_ws(
                '&'
                ,collect_set( CONCAT( ac_type ,'=' ,date_item_pv ))
            ) AS type_day_pv

**结果**：sort\_array针对本人业务拼接数据并未全部有序拼接，所以使用了collect\_set;经过上述更改后，数据量从690万左右变为380万左右,验证过后无其他错误。

以上两种方式都只针对本人业务逻辑有效，不保证所有类型都适用，建议使用前先进行测试。