hive表数据按照手机号去除重复，每个手机号只保留一条记录

柔光的暖阳◎ 2022-11-09 03:52 168阅读 0赞

**一、简要介绍**

1.  样例数据：

<table> 
 <thead> 
  <tr> 
   <th>mdn</th> 
   <th>imei</th> 
   <th>imsi</th> 
   <th>vprovId</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1064948930129</td> 
   <td>8670120344055714</td> 
   <td>460111128580323</td> 
   <td>123</td> 
  </tr> 
  <tr> 
   <td>1064948930129</td> 
   <td>8670120344055714</td> 
   <td>460111128580323</td> 
   <td>123</td> 
  </tr> 
  <tr> 
   <td>1064948605404</td> 
   <td>8666660207679900</td> 
   <td>460110662972417</td> 
   <td>234</td> 
  </tr> 
 </tbody> 
</table>

1.  需求：表数据按照手机号去除重复，每个手机号只保留一条记录

**二、HSQL编写思路**

1.  使用ROW\_NUMBER() OVER函数的基本用法  
    语法：ROW\_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)  
    简单的说row\_number()从1开始，为每一个分组记录返回一个数字，这里的ROW\_NUMBER() OVER (ORDER BY visit\_province\_id asc) 是先把visit\_province\_id列升序，再为升序以后的每条mdn记录返回一个序号。

**三、HSQL书写**

select *
    from(
         select *,row_number() over (partition by mdn order by vprovId asc ) num from aa_country_analysis
        ) t
    where t.num=1;

先通过row\_number()函数按照手机号进行分组，组内按照省份id进行升序，然后组内相同mdn记录从1开始编号…n。然后最后每个mdn分组下只保留第一条记录。

<table> 
 <thead> 
  <tr> 
   <th>mdn</th> 
   <th>imei</th> 
   <th>imsi</th> 
   <th>vprovId</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1064948930129</td> 
   <td>8670120344055714</td> 
   <td>460111128580323</td> 
   <td>123</td> 
  </tr> 
  <tr> 
   <td>1064948605404</td> 
   <td>8666660207679900</td> 
   <td>460110662972417</td> 
   <td>234</td> 
  </tr> 
 </tbody> 
</table>