oracle查询重复数据只保留一条_mysql删除重复记录并且只保留一条

Love The Way You Lie 2023-01-12 10:12 142阅读 0赞

首先写了一个小的例子：

**单个字段的操作**

这是数据库中的表：

![21ad543936142f24d58ba27933af685b.png][]

**分组：**

![485b8fe198ec290056453acf2c2a53b6.png][]

Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1

查看是否有重复的数据：

GROUP BY

HAVING

查询出：根据dname分组，同时满足having字句中组条件表达式(重复次数大于1)的那些组

count(\*)与count(1)其实没有什么差别，用哪个都可以

查询全部重复的数据：

![918ba5a2f47aad59c3786bb57f6e9d3a.png][]

Select * From 表 Where 重复字段 In (Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1)

删除全部重复试题：

将上面的查询select改为delete(这样会出错的)

![ab1202d32d1e15b7fbdcf22ae5c4ae18.png][]

会出现如下错误：\[Err\] 1093 - You can't specify target table 'dept' for update in FROM clause

原因是：更新这个表的同时又查询了这个表，查询这个表的同时又去更新了这个表，可以理解为死锁。mysql不支持这种更新查询同一张表的操作

解决办法：把要更新的几列数据查询出来做为一个第三方表，然后筛选更新。

![1ab970fbabac18e2135335b85ae898ab.png][]

查询表中多余重复试题(根据depno来判断，除了rowid最小的一个)

第一种方法：

![5e476160553416bcdbd5492a9c8bc436.png][]

![7c85016dd16ba256bc34adad77a9317a.png][]

上面这种写法正确，但是查询的速度太慢，可以试一下下面这种方法：

第二种方法：

☆根据dname分组，查找出deptno最小的。然后再查找deptno不包含刚才查出来的。这样就查询出了所有的重复数据(除了deptno最小的那行)

![3280a1507a30d47f280d33a3ae747a28.png][]

删除表中多余重复试题并且只留1条：

第一种方法：

![14e8f0ec0dc50d1bcf83c9b7692a493e.png][]

☆第二种方法(与上面查询的第二种方法对应，只是将select改为delete)：

![78e300c3a95e0ea974525dfcf85b43ff.png][]

多个字段的操作：

单个字段的如果会了，多个字段也非常简单。

![e807f0557dcf070507440300be74ee52.png][]

总结：

其实上面的方法还有很多需要优化的地方，如果数据量太大的话，执行起来很慢，可以考虑加优化一下：

在经常查询的字段上加上索引

将\*改为你需要查询出来的字段，不要全部查询出来

小表驱动大表用IN，大表驱动小表用EXISTS。IN适合的情况是外表数据量小的情况，而不是外表数据大的情况，因为IN会遍历外表的全部数据，假设a表100条，b表10000条那么遍历次数就是100\*10000次，而exists则是执行100次去判断a表中的数据是否在b表中存在，它只执行了a.length次数。至于哪一个效率高是要看情况的，因为in是在内存中比较的，而exists则是进行数据库查询操作的

[21ad543936142f24d58ba27933af685b.png]: /images/20221119/5ca2152a992f44aab7a12fd799b77b34.png
[485b8fe198ec290056453acf2c2a53b6.png]: /images/20221119/6f4d552a66d948e1a4e52c706e9471c7.png
[918ba5a2f47aad59c3786bb57f6e9d3a.png]: /images/20221119/85ba5603240243e29a0453e5c4b0b4e0.png
[ab1202d32d1e15b7fbdcf22ae5c4ae18.png]: /images/20221119/ab3e4638042b4a7a84211d5f7a54dc5f.png
[1ab970fbabac18e2135335b85ae898ab.png]: /images/20221119/3029341ac0bf4d30ab05427264de216c.png
[5e476160553416bcdbd5492a9c8bc436.png]: /images/20221119/a89177743d0f47b6bec0d32abbb54229.png
[7c85016dd16ba256bc34adad77a9317a.png]: /images/20221119/ae07430aa30b459687f519cebad12cf3.png
[3280a1507a30d47f280d33a3ae747a28.png]: /images/20221119/fb17a0bb3fce43349cb9ff3e6e73809f.png
[14e8f0ec0dc50d1bcf83c9b7692a493e.png]: /images/20221119/1eefd50fe113470284432cc6c0e1e143.png
[78e300c3a95e0ea974525dfcf85b43ff.png]: /images/20221119/7ca76af0ce1f442d947bcccd782f7c89.png
[e807f0557dcf070507440300be74ee52.png]: /images/20221119/3c2b5e0c40b64341a29363f70319decb.png