MySQL表中删除重复记录

不念不忘少年蓝@ 2023-10-05 14:07 71阅读 0赞

MySQL 表中的存在某些重复行，需要从表中删除重复的行并在某些列上添加唯一约束，以确保不会再出现重复的行。

问题是如何删除重复的行？该表的模式是这样的：

describe table1;

| id | int(11)

| category | varchar(255)

| image\_set\_id | int(11)

| position | decimal(16,6)

就我而言，它在组合上是重复的(category, image\_set\_id)。我想确保合并后的值永远是唯一的。

在Google上搜索后，我很快找到了解决方案。查询是这样的：

DELETE n1 FROM names n1, names n2 WHERE n1.id > n2.id AND n1.name = n2.name

映射到我们的表，我们有以下查询：

DELETE t1 FROM table1 t1, table t2 WHERE t1.id > t2.id AND t1.category = t2.category AND t1.image\_set\_id = t2.image\_set\_id

这种方法有什么问题？这是一个自连接，非常慢。请记住，我们有超过一百万行，因此不要期望很快完成上述查询。

ALTER IGNORE

幸运的是，我找到了另一种满足我要求的解决方案。我们可以用来添加到表中，同时删除重复的行。查询是：ALTER IGNORE UNIQUE INDEX

ALTER IGNORE TABLE table1 ADD UNIQUE INDEX index\_on\_category\_image\_set\_id(category, image\_set\_id)

但是我很快意识到它没有用。为什么？已从MySQL 5.7中删除，而这正是我使用的版本。ALTER IGNORE

INSERT IGNORE

最后，我找到了“最佳”解决方案。无需尝试删除当前表，我们可以利用查询。步骤：INSERT IGNORE

*  创建临时表有类似的模式，以现有同类表
 *  UNIQUE向我们想要的列添加约束
 *  运行将数据从原始表复制到临时表时，任何重复的行都不会插入到临时表中，因为它们违反了UNIQUE约束（我们只是忽略了错误）INSERT IGNORE
 *  将原始表重命名为其他名称，并将临时表重命名为原始表。删除冗余表

最终的SQL语句为：

\-- Create temporary table

CREATE TABLE temp\_table LIKE table1;

\-- Add constraint

ALTER TABLE temp\_table ADD UNIQUE(category, image\_set\_id);

\-- Copy data

INSERT IGNORE INTO temp\_table SELECT \* FROM table1;

\-- Rename and drop

RENAME TABLE table1 TO old\_table1, temp\_table TO table1;

DROP TABLE old\_table1;

而已。该脚本花费了大约20秒的时间将数据从原始表复制到临时表中，但是其他所有操作都非常快。

发表评论取消回复

表情：

评论列表（有 0 条评论，71人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL表中删除重复记录

MySQL 表中的存在某些重复行，需要从表中删除重复的行并在某些列上添加唯一约束，以确保不会再出现重复的行。问题是如何删除重复的行？该表的模式是这样的： describe

不念不忘少年蓝@/ 2023年10月05日 14:07/ 0 赞/ 72 阅读

相关 MYSQL 删除表中的重复数据

　　test表中的原始数据: 　　? ? ? ![MYSQL 删除表中的重复数据\_MYSQL 删除表中的重复数据][MYSQL _MYSQL] 　　test表中name字

我就是我/ 2023年09月24日 10:34/ 0 赞/ 179 阅读

相关删除数据库表中重复的记录

删除数据库表中重复的记录在处理数据的过程中，经常会遇到一个表中需要删除一些重复的记录。比如 ![SouthEast][] 在上表中，timeofday和cb\_ke

短命女/ 2022年08月25日 10:51/ 0 赞/ 267 阅读

相关 mysql 删除重复记录

首先创建一张表 CREATE TABLE test( number INT, su VARCHAR(20) ); 插入几条一模一样的数据 INSERT IN

男娘i/ 2022年07月13日 01:57/ 0 赞/ 238 阅读

相关 MySQL之——查询重复记录、删除重复记录方法大全

[转载请注明出处：http://blog.csdn.net/l1028386804/article/details/51733585][http_blog.csdn.net_l

傷城~/ 2022年06月01日 23:53/ 0 赞/ 298 阅读

相关 mysql删除重复记录

DELETE FROM tbl\_vehicle\_brand WHERE id NOT IN (SELECT tab.id FROM (SELECT MAX(

怼烎@/ 2022年05月30日 07:45/ 0 赞/ 267 阅读

相关 MYSQL 删除表中的重复数据

test表中的原始数据: ![70][] test表中name字段信息有重复，想进行过滤删除重复数据删除重复数据之后的预期结果（不考虑id）：

r囧r小猫/ 2022年05月15日 02:27/ 0 赞/ 293 阅读

相关 mysql删除重复记录

-- 删除重复记录 DELETE FROM zz_access_last WHERE userid IN(SELECT

太过爱你忘了你带给我的痛/ 2022年01月06日 03:15/ 0 赞/ 293 阅读

相关 oracle删除表中多余的重复记录

(一) 1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断 select \ from people where peopleId in

谁践踏了优雅/ 2021年12月16日 08:19/ 0 赞/ 345 阅读

相关解决Mysql中删除重复记录的问题

版权声明：本文为博主原创文章，未经博主允许不得转载。转载请务必加上原作者：铭毅天下，原博客地址：http://blog.csdn.net/laoyang360 目录[(?)]

骑猪看日落/ 2021年10月08日 06:10/ 0 赞/ 494 阅读