mysql获取两个表中不重复的数据

r囧r小猫 2023-08-17 17:19 42阅读 0赞

## 一、前言 ##

比如有两个数据表，表结构是一样的，一个`a`表数据`300W`行，一个`b`表数据`17W`行，我们需要获取`a`表中不包含`b`表的数据。下面大致记录一下获取过程，方便查询回忆。

a表结构：
    id
    pay_id
    user_id

`b`表结构和`a`表一直，只不过`b`表中的`user_id`字段都是唯一的，而`a`表中的`user_id`字段是可重复的。

## 二、使用distinct获取不重复的数据 ##

我们都知道`Mysql`提供了关键字distinct来排除重复数据，

### 1、先获取a表中不重复的数据： ###

select count(distinct user_id) from  a  where 1   ;
    +-----------------------------+
    | count(distinct user_id) |
    +-----------------------------+
    |                      240522 |
    +-----------------------------+

### 2、获取b表数据 ###

mysql> select count(1) from b;
    +----------+
    | count(1) |
    +----------+
    |   176731 |

我们看到`a`表和`b`表是有一定的差值的，接下来是获取差值对应的字段。

### 3、查询筛选后的数据 ###

SELECT distinct user_id FROM a LEFT JOIN b  ON a.user_id= b.user_id WHERE f.user_id IS NULL ';
    
    +-------------+
    | user_id |
    +-------------+
    |    10000058 |
    |    10009228 |
    |    10042967 |
    ....
    +-------------+

通过查询结果，我们获取到了不重复的`user_id`的值，但是需求是获取不重复的行数据，所以还要获得`a`表中`pay_id`的值。只是在通过`distinct`获取其他数据的时候，遇到了一些 问题

### 4、distinct多个字段的问题 ###

#### （1）不能是分散的写法 ####

如：`distinct user_id,distinct user_id` 这种写法会报错

#### （2）正确的distinct写法 ####

distinct  user_id, pay_id

SELECT distinct p.user_id,p.pay_id FROM a as p  LEFT JOIN b as f ON p.user_id = f.user_id 
    WHERE f.user_id IS NULL  order by p.user_id asc limit 10;
    
    类似于：
    | user_id | pay_id |
    +-------------+--------+
    |    10000058 |     16 |
    |    10000058 |     17 |
    |    10000058 |     18 |
    |    10000058 |     19 |
    |    10000058 |     20 |

有个问题，`distinct`多个字段，那么只会排除`user_id` 和 `pay_id` 都相同的数据，并不符合需求,需求是只排除`user_id`重复的部分，然后获取唯一`user_id`以及对应的`pay_id`

#### （3）符合需求的写法（使用left join） ####

SELECT  a.pay_id,a.user_id  FROM   a LEFT JOIN b  as f ON a.user_id = f.user_id 
    where f.user_id IS NULL  GROUP BY a.user_id order by a.user_id desc limit 10; 
    
    +----------+-------------+
    | pay_id   |  |user_id |
    +----------+-------------+
    |       16 |     10000058 |
    |       15 |    10009228 |
    |       77 |    10042967 |
    |      687 |     10043113 |
    |      119 |    10043147 |

我们这里没有使用`distinct` 关键字，首先是使用`left join` 去除两个表中重复的部分，其次是使用g`roup by`的去重特性，当按照`user_id`分组的时候，自然在结果中`user_id`也是唯一的一个。

记录这一篇的原因是因为一开始想的太复杂了，什么子查询啊，`not exist`之类的，自己把问题想麻烦了，包括使用`distinct` 获取数据，往错的方向上努力，无论如何都是错的。偏偏忘记了最常用的`left join`和`group by`，明明就是一条`sql`就能解决的事情。

**祝祖国70周年生日快乐，也祝各位国庆节快乐！**

**end**