mysql大批量去重并导入

小咪咪 2022-07-18 05:47 310阅读 0赞

今天拿到这个文件，里面有联系人及其地址，如图

![Image 1][]

这时候就要我去将这些数据导入现在开发的系统之中。

其实2个字段不是太复杂，一个问题就是其中的一部分另一个同事之前导入了，那一部分又不需要更改。

问题就变成了，查找出当前文档里面有哪些内容是以前已经导入过了的。

根据这样我先想出了一个方法，利用excel的CONCATENATE("'",D30,"',")拼接字符串，结果如图

![Image 1][]

然后数据库查询：

select * from aaaa.contactaaa where cont_name in ('GTMC','GTT','广菲克（长沙）','广菲克（广州）');

这样其实是可以查出来有哪些是被使用过的，但是无法得知是哪一行，所以这时候就使用另外一个方法：

还是使用excel里面的拼接字符串

=CONCATENATE("SELECT COUNT(1),cont_id FROM aaa.bbbcontact WHERE cont_name='",D30,"' UNION ALL ")

然后下拉条，就变成

SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='GTMC' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='GTT' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广菲克（长沙）' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广菲克（广州）' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广汽传祺' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广汽三菱' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='南沙港' UNION ALL

这个时候查出来就是：

![Image 1][]

因为这个行与excel的行是一一对应的，所以将这些行导出，复制到excel之中，在进行筛选，就可以去除无需导入的数据了

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，310人围观）

还没有评论，来说两句吧...

相关阅读

相关 mysql 去重语句

ELETE FROM m\_leads WHERE mobile IN ( SELECT mobile FROM m\_leads G...

妖狐艹你老母/ 2024年04月18日 09:26/ 0 赞/ 86 阅读

相关 java实现大批量json文件数据去重

上周从数据采集部门拿到一批400份的json文件,每个文件里30w+的json对象,对象里有uid,对重复的uid,需要去重下. 本人电脑4核8G已经不能满足了,总是内存不够

男娘i/ 2024年02月19日 00:25/ 0 赞/ 45 阅读

相关 mysql数据库去重

数据库去重 1. 实例： ![在这里插入图片描述][20200522091658560.png] 2. 上述图中没有主键，如何用一条sql实现去重效果

桃扇骨/ 2023年02月11日 07:13/ 0 赞/ 37 阅读

相关 mysql 批量数据导入报错_MySQL导入大批量数据报错

问题描述 MySQL5.7中,采用innodb引擎的数据表中执行大批量数据的更新，插入，删除操作时，会因默认的引擎参数太小而报错：the total number of lo

﹏ヽ暗。殇╰゛Y/ 2022年10月27日 02:36/ 0 赞/ 58 阅读

相关 mysql多字段去重并计数_mysql多字段去重，并计数

Mysql版本5.5.42 有两个表，表结构与数据如下 1、goods表 CREATE TABLE \`goods\` ( \`id\` int(10) unsigne

素颜马尾好姑娘i/ 2022年10月27日 00:29/ 0 赞/ 242 阅读

相关 mysql大批量去重并导入

今天拿到这个文件，里面有联系人及其地址，如图 ![Image 1][] 这时候就要我去将这些数据导入现在开发的系统之中。其实2个字段不是太复杂

小咪咪/ 2022年07月18日 05:47/ 0 赞/ 311 阅读

相关 thinkphp导入Excel去重

/导入Excel有两种可能 1.导入的Excel本身就有重复项 2.导入的Excel数据和已有的数据库信息有重复项解决思路：

柔光的暖阳◎/ 2022年06月15日 05:47/ 0 赞/ 335 阅读

相关 MySql 大批量导入数据时关闭索引

本文通过实验验证：大批量导入数据时需要关闭索引。 1.建表 create table goods( id int primary key,

迈不过友情╰/ 2022年01月31日 03:27/ 0 赞/ 394 阅读

相关 js对象转数组并去重 js对数组去重

js对象转数组 function toArray(){ var data = { a:1,b:2,c:3,d:4,e:1,f:4}; var a

小咪咪/ 2021年10月23日 13:26/ 0 赞/ 507 阅读

相关 MySQL去重查询

在使用[MySQL][]时，有时需要查询出某个字段不重复的记录，这时可以使用mysql提供的distinct这个关键字来过滤重复的记录，实例： select d

偏执的太偏执、/ 2021年09月16日 19:02/ 0 赞/ 420 阅读