明明加了唯一索引，为什么还是产生重复数据？

亦凉 2024-03-27 10:49 66阅读 0赞

距离上次发稿 已经过去好久了，  
开搞，2023第一稿；

![在这里插入图片描述][508f441a4d8345019cec0efa6118fbb8.png]  
.还原问题现场  
前段时间，为了防止商品组产生重复的数据，我专门加了一张防重表。

问题就出在商品组的防重表上。

具体表结构如下：

![在这里插入图片描述][b7b45db3a3794fc8bb9a7ec1136106bd.png]

为了保证数据的唯一性，我给那种商品组防重表，建了唯一索引：  
![在这里插入图片描述][266da72202e142848864be5c9c7ae575.png]

根据分类编号、单位编号和商品组属性的 hash 值，可以唯一确定一个商品组。

给商品组防重表创建了唯一索引之后，第二天查看数据，发现该表中竟然产生了重复的数据：

![在这里插入图片描述][b80171070b964fbdab3cca60970e9145.png]  
表中第二条数据和第三条数据重复了。

这是为什么呢？

2.唯一索引字段包含 null  
如果你仔细查看表中的数据，会发现其中一个比较特殊地方：商品组属性的 hash 值（model\_hash 字段）可能为null，即商品组允许不配置任何属性。

在 product\_group\_unique 表中插入了一条 model\_hash 字段等于 100 的重复数据：  
![在这里插入图片描述][a1fca678bb084b7299919fe415bffdfd.png]  
从上图中看出，mysql 的唯一性约束生效了，重复数据被拦截了。

接下来，我们再插入两条 model\_hash 为 null 的数据，其中第三条数据跟第二条数据中 category\_id、unit\_id 和 model\_hash 字段值都一样。  
![在这里插入图片描述][7ed860924b75407c9749f45aed1f203f.png]

从图中看出，竟然执行成功了。

换句话说，如果唯一索引的字段中，出现了 null 值，则唯一性约束不会生效。

最终插入的数据情况是这样的：

当 model\_hash 字段不为空时，不会产生重复的数据。  
当 model\_hash 字段为空时，会生成重复的数据。  
我们需要特别注意：创建唯一索引的字段，都不能允许为 null，否则 mysql 的唯一性约束可能会失效。

下面的几种不同方案 点击文末跳转原文，这几种思路在不同的业务场景还是值得学习的。

3.逻辑删除表加唯一索引

3.1 删除状态 +1  
3.2 增加时间戳字段  
3.3 增加 id 字段

1.  重复历史数据如何加唯一索引？

5.给大字段加唯一索引  
5.1 增加 hash 字段  
5.2 不加唯一索引  
5.3 redis 分布式锁

6.批量插入数据

来源 ：[https://mp.weixin.qq.com/s/rVAeULuYYoL\_50dlTeEydg][https_mp.weixin.qq.com_s_rVAeULuYYoL_50dlTeEydg]

[508f441a4d8345019cec0efa6118fbb8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/de071101514345eeb551290e03701407.png
[b7b45db3a3794fc8bb9a7ec1136106bd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/799e6ebeed9d46e0a0ea5915fd33b0a3.png
[266da72202e142848864be5c9c7ae575.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/459bafb6ba164fcb996e818492e4b2d7.png
[b80171070b964fbdab3cca60970e9145.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/27addf403eb9415789c011fa68283ca9.png
[a1fca678bb084b7299919fe415bffdfd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/79944f4707194427a0af9ac42b11c5f9.png
[7ed860924b75407c9749f45aed1f203f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ec11efd9004943108117e2968ef529ce.png
[https_mp.weixin.qq.com_s_rVAeULuYYoL_50dlTeEydg]: https://mp.weixin.qq.com/s/rVAeULuYYoL_50dlTeEydg