MySQL 的一次百万级数据快速去重经验分享

缺乏、安全感 2022-10-17 05:30 388阅读 0赞

最近在处理项目组的一个数据集，数据量每张表在百万级，由于数据量较大在数据下载和处理方面都可以说是旷日持久，这篇记录一下相关的经验。

![4eb890e8025c37f5623e17b3e606ab1e.png][]

**「数据下载」**

拿到的数据是在远程数据库里面，原先打算直接从远程库里下载 csv 或 txt 到电脑上，但在 mysql 上进行这样的操作好像不是很方便速度也很慢。

目前在使用的方法是将远程数据库里面的数据导出为 sql 到本地，导入本地数据库后进行操作，但这一过程也很缓慢，一个百万级数据库在 navicat 里面可能要导个半个小时，在命令行可能会快一点但没有尝试。

**「MySQL中的去重」**

基本思路是复制原表 A 结构新建一个表 B，对表 B 添加 UNIQUE 约束，然后将表 A 中的数据逐条插入表 B，约束会自动实现去重。

`复制表结构`

CREATE TABLE newTable LIKE oldTable;

`修改表字段，因为 httpURL 太大`

ALTER TABLE newTable MODIFY httpURL VARCHAR(300);

`为表格添加约束条件(在Mysql5中，如果约束字段过大，则报错，因此要先执行上面的修改表字段)`

ALTER TABLE newTable ADD UNIQUE(IP,timeStart);

`为新表中添加数据(约束条件自动去重)`

INSERT IGNORE newTable
    
    SELECT \* FROM newTable
    
    ORDER BY IP,timeStart;

测试的表数据量在三百万左右，去重后数据在二百万左右，在 navicat 实现时间2168.470s，命令行应该会更快。

![44cf7c4849644866b9ab434e97054514.png][]

[4eb890e8025c37f5623e17b3e606ab1e.png]: /images/20221014/3dec89ff446e4c19b6cc965bf082e63a.png
[44cf7c4849644866b9ab434e97054514.png]: /images/20221014/95b6f4ce636e46fda8dea18d5648ccdc.png

发表评论取消回复

表情：

评论列表（有 0 条评论，388人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL 百万级/千万级建立索引

问题：今天接到公司项目经理提出针对\\政府项目管理平台的合同管理功能模块提出性能优化要求。原因：由于\\政府项目管理平台数据存储由oracle 10g 迁移至开源MySQL

拼搏现实的明天。/ 2023年10月10日 16:24/ 0 赞/ 69 阅读

相关 MySQL百万级/千万级数据存储解决方案

MySQL 百万级/千万级数据存储解决方案百万级、千万级数据处理，个人认为核心关键在于数据存储方案设计，存储方案设计的是否合理，直接影响到数据CRUD操作。总体设计可以

ゝ一世哀愁。/ 2023年10月01日 11:04/ 0 赞/ 38 阅读

相关千万级数据去重其实并不复杂

之前曾经看过一句话觉得挺好，大概的意思就是不同的数据结构有不同的适用场景和优缺点，需要仔细权衡自己的需求之后妥善适用它们。感觉布隆过滤器的实现是正好印证了这句话。一、原理

痛定思痛。/ 2022年11月26日 08:52/ 0 赞/ 185 阅读

相关 mysql 删除百万级数据库_MSSQL、MySQL 数据库删除大批量千万级百万级数据的优化...

SQL Server上面删除1.6亿条记录，不能用Truncate(因为只是删除其中少部分数据)。经过实验，每次删除400万条要花1.5 - 3小时，而且是越到后面越慢，正

向右看齐/ 2022年11月19日 08:00/ 0 赞/ 496 阅读

相关 MySQL 的一次百万级数据快速去重经验分享

最近在处理项目组的一个数据集，数据量每张表在百万级，由于数据量较大在数据下载和处理方面都可以说是旷日持久，这篇记录一下相关的经验。 ![4eb890e8025c37f5623

缺乏、安全感/ 2022年10月17日 05:30/ 0 赞/ 389 阅读

相关 mysql百万级甚至千万级数据怎么进行快速分页

mysql我们分页都使用的是limit,但是limit有些不足之处比如我现在有一张表 ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_s

古城微笑少年丶/ 2022年09月09日 02:24/ 0 赞/ 287 阅读

相关 mysql百万级数据优化

1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 nu

浅浅的花香味﹌/ 2022年06月15日 10:56/ 0 赞/ 305 阅读

相关【MySQL】记一次数据去重

有时候，因为开发时，考虑不当，会造成数据重复。背景：前几天做项目的时候，有一个给ip打标签的操作，但是当数据数量多了以后，发现，同一个ip被打了两次相同的标签，导致数据

雨点打透心脏的1/2处/ 2022年06月10日 12:51/ 0 赞/ 210 阅读

相关 MySql百万级数据去重保留一份，一对多合并处理

最近帮运维组处理了一份急着上架的数据，大概有140万量，下面我们看一下是怎样处理的吧。这批数据大部分都是重复的，经过处理的数据大概在30万左右，然后进行一对多合并处理，最后

墨蓝/ 2022年03月25日 10:40/ 0 赞/ 423 阅读

相关百万级数据批量快速插入到mysql中

想必能搜索这篇博客的同志们应该是用过了几种方法觉得太慢所以才来寻找解决办法的比如：一条SQL语句插入多条数据。常用的插入语句如： INSERT

刺骨的言语ヽ痛彻心扉/ 2021年12月11日 13:45/ 0 赞/ 263 阅读