MySQL 根据多字段查询重复数据

阳光穿透心脏的1/2处 2024-03-23 23:16 18阅读 0赞

## **MySQL 根据多字段查询重复数据** ##

在实际的数据库应用中，我们经常需要根据多个字段来查询重复的数据。MySQL 提供了一些方法来实现这个功能，让我们能够快速准确地找到和处理重复数据。本文将介绍如何使用 MySQL 来根据多字段查询重复数据，并提供相应的代码示例。

#### 什么是重复数据？ ####

重复数据指的是在数据库表中存在多行具有相同值的记录。在某些情况下，重复数据可能是数据库设计的问题，需要进行修正。在其他情况下，重复数据可能是合理的，但我们仍然需要找到这些数据以进行后续处理。

#### 根据单个字段查询重复数据 ####

在开始讨论多字段查询之前，我们先来看一下如何根据单个字段查询重复数据。假设我们有一个 `users` 表，其中包含了 `name` 字段。我们想要找出所有重复的用户名。

我们可以使用如下的 SQL 查询来实现：

SELECT name, COUNT(*) as count
    FROM users
    GROUP BY name
    HAVING count > 1;

以上 SQL 查询首先对 `name` 字段进行分组，并使用 `COUNT(*)` 函数统计每个组中的记录数量。然后，我们使用 `HAVING` 子句来筛选出记录数量大于 1 的组，即重复的记录。

#### 根据多个字段查询重复数据 ####

要根据多个字段查询重复数据，我们需要稍微修改上述的查询语句。假设我们的 `users` 表中还有一个 `email` 字段，我们希望根据 `name` 和 `email` 两个字段来查询重复数据。

SELECT name, email, COUNT(*) as count
    FROM users
    GROUP BY name, email
    HAVING count > 1;

以上 SQL 查询将根据 `name` 和 `email` 两个字段进行分组，并统计每个组中的记录数量。然后，我们使用 `HAVING` 子句来筛选出记录数量大于 1 的组，即重复的记录。

#### 完整的代码示例 ####

下面是一个完整的代码示例，演示了如何使用 MySQL 根据多个字段查询重复数据。

首先，我们创建一个名为 `users` 的表，并插入一些测试数据：

CREATE TABLE users (
        id INT AUTO_INCREMENT PRIMARY KEY,
        name VARCHAR(50),
        email VARCHAR(50)
    );
    
    INSERT INTO users (name, email) VALUES
        ('Alice', 'alice@example.com'),
        ('Bob', 'bob@example.com'),
        ('Alice', 'alice@example.com'),
        ('Charlie', 'charlie@example.com'),
        ('David', 'david@example.com'),
        ('Alice', 'alice@example.com');

然后，我们执行查询语句来查找重复数据：

SELECT name, email, COUNT(*) as count
    FROM users
    GROUP BY name, email
    HAVING count > 1;

执行以上查询语句后，我们将得到如下结果：

+-------+-------------------+-------+
    | name  | email             | count |
    +-------+-------------------+-------+
    | Alice | alice@example.com |     3 |
    +-------+-------------------+-------+

结果告诉我们，`Alice` 的邮箱 `alice@example.com` 在表中出现了 3 次，因此是重复的数据。

#### 总结 ####

本文介绍了如何使用 MySQL 根据多个字段查询重复数据。我们首先了解了重复数据的概念，然后讨论了如何根据单个字段查询重复数据的方法。接着，我们介绍了如何根据多个字段查询重复数据，并提供了相应的代码示例。通过这些方法，我们可以快速准确地找到和处理重复数据，提高数据库的数据质量。

MySQL根据某一个或者多个字段查找重复数据，并且保留某字段值最大的记录

问题场景  
当系统没有处理好并发操作的情况下，操作人员同时操作一张表的情况下，数据库有可能被插入相同记录，这些会带来隐藏的bug。

解决思路一  
解决并发操作的冲突。

解决思路二  
对数据库（MySQL）某张表去重，首先确定你的业务是否允许重复，不允许你重复的话可以建立唯一索引和联合唯一索引来保证记录不重复，但如果出现了重复记录，怎么办？请看下文。

情况一：对一个字段查找重复记录  
表数据：  
a. 首先根据sample\_code字段找到重复记录

SELECT \* FROM tb\_table WHERE sample\_code IN(  
SELECT sample\_code FROM tb\_table GROUP BY sample\_code HAVING COUNT(sample\_code) > 1  
);

b. 删除重复记录，只保留id字段值最大的记录

delete from tb\_table where id not in (select maxid from (select max(id) as maxid from tb\_table group by sample\_code) b);  
  
使用select语句查看结果如下图：

情况二：对多个字段查找重复记录（这里以2个为例）  
表数据：

a. 首先根据name和code字段找到重复记录

SELECT \* from (SELECT \*, CONCAT(name,code) as nameAndCode from tb\_table) t WHERE t.nameAndCode in  
(  
SELECT nameAndCode from (SELECT CONCAT(name,code) as nameAndCode from tb\_table) tt GROUP BY nameAndCode HAVING count(nameAndCode) > 1  
)

b. 删除重复记录，只保留id字段值最大的记录

DELETE from tb\_table WHERE id not in  
(  
SELECT maxid from (SELECT MAX(id) as maxid, CONCAT(name,code) as nameAndCode from tb\_table GROUP BY nameAndCode) t  
)

## MySQL根据某一个或者多个字段查找重复数据 ##

#### [sql 查出一张表中重复的所有记录数据][sql] ####

1.表中有id和name 两个字段，查询出name重复的所有数据

>     select * from xi a where (a.username) in  (select username from xi group by username  having count(*) > 1)

2、查询出所有数据进行分组之后，和重复数据的重复次数的查询数据，先列下：

>     select  count(username) as '重复次数',username from xi group by username  having count(*)>1 order by username desc

3、一下为 查看别人的 结果，现列下：**查询及删除重复记录的方法大全**

1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断

>     select * from people
>     where peopleId in (select  peopleId  from  people  group  by  peopleId  having  count(peopleId) > 1)

2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录

>     delete from people 
>     where peopleId  in (select  peopleId  from people  group  by  peopleId   having  count(peopleId) > 1)
>     and rowid not in (select min(rowid) from  people  group by peopleId  having count(peopleId )>1)

3、查找表中多余的重复记录（多个字段）

>     select * from vitae a
>     where (a.peopleId,a.seq) in  (select peopleId,seq from vitae group by peopleId,seq  having count(*) > 1)

4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录

>     delete from vitae a
>     where (a.peopleId,a.seq) in  (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
>     and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录

>     select * from vitae a
>     where (a.peopleId,a.seq) in  (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
>     and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

(二)

比方说  
在A表中存在一个字段“name”，  
而且不同记录之间的“name”值有可能会相同，  
现在就是需要查询出在该表中的各记录之间，“name”值存在重复的项；

>     Select Name,Count(*) From A Group By Name Having Count(*) > 1

如果还查性别也相同大则如下:

>     Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1

(三)

方法一

> declare @max integer,@id integer  
> declare cur\_rows cursor local for  
> select 主字段,count(\*) from 表名 group by 主字段 having count(\*) >;  
> open cur\_rows fetch cur\_rows into @id,@maxwhile @@fetch\_status=0  
> begin  
> select @max = @max -1  
> set rowcount @max  
> delete from 表名 where 主字段 = @id  
> fetch cur\_rows into @id,@maxend  
> close cur\_rows  
> set rowcount 0

方法二＂重复记录＂有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。  
　　1、对于第一种重复，比较容易解决，使用

>     select distinct * from tableName

就可以得到无重复记录的结果集。

如果该表需要删除重复的记录（重复记录保留1条），

可以按以下方法删除

>     select distinct * into #Tmp from tableName
>     drop table tableName
>     select * into tableName from #Tmp
>     drop table #Tmp

发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下　　假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集

>     select identity(int,1,1) as autoID, * into #Tmp from tableName
>     select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
>     select * from #Tmp where autoID in(select autoID from #tmp2)

最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）

(四)  
查询重复

>     select * from tablename where id in (select id from tablenamegroup by idhaving count(id) > 1)

--------------------

#### 对一个字段查找重复记录 ####

> ![SouthEast][]

根据sample\_code字段找到重复记录

> SELECT \* FROM tb\_table WHERE sample\_code IN( SELECT sample\_code FROM tb\_table GROUP BY sample\_code HAVING COUNT(sample\_code) > 1 );

#### 对多个字段查找重复记录（这里以2个为例） ####

> ![SouthEast 1][]

根据name和code字段找到重复记录

> SELECT \* from (SELECT \*, CONCAT(name,code) as nameAndCode from tb\_table) t WHERE t.nameAndCode in  
> (  
> SELECT nameAndCode from (SELECT CONCAT(name,code) as nameAndCode from tb\_table) tt GROUP BY nameAndCode HAVING count(nameAndCode) > 1  
> )  
>

[sql]: https://www.cnblogs.com/wangfuyou/p/6058169.html
[SouthEast]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/9bad19d7060e484faee7cd02f9dee206.png
[SouthEast 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/b7a8a4c8374c4c8da5bb1ddeeb9d8ed2.png