【Mysql数据库系列】Mysql将CSV格式文件内数据导入数据库，奇思妙想，出奇制胜

缺乏、安全感 2022-10-24 05:58 261阅读 0赞

# 热门系列： #

*  ### [【数据库SQL系列】sql优化，你学废了吗][SQL_sql] ###
 *  ### [【数据库SQL系列】sql语句执行顺序，你理解了吗][SQL_sql 1] ###
 *  ### [【数据库索引Index系列】数据库索引，这一篇就够了][Index] ###
 *  ###   [程序人生，精彩抢先看][Link 1] ###

--------------------

# **目录** #

1、前言

2、正题

2.1 使用命令将CSV文件导入数据库

2.2 遇到的问题

2.2.1 问题一：乱码

2.2.2 问题二：导入时因数据特殊值原因报错

2.3 换个姿势导入数据库

3、总结

--------------------

# 1、前言 #

前段时间，因需求需要，从外部得到一份CSV格式的股票信息文件，需要导入到内部数据库。在定义好格式和数据表之后，便开整了。

一开始心想，通过数据库可视化界面（我用的是**dbeaver**，挺好用，推荐大家试试），一键梭哈，完事~~~！但是，转念一想，上线时候咋整，还不是得命令操作！所以，还是老实用命令处理吧！

--------------------

# 2、正题 #

## 2.1 使用命令将CSV文件导入数据库 ##

这里你说明一点，数据库表和导入文件的字段，需要对应上，否则导入数据可能会错乱！！！

以下是导入命令：

LOAD DATA INFILE 'D:\Java\\WorkFile\\prodFile\\source.csv' INTO TABLE table_name
    CHARACTER SET utf8 
    fields terminated by "," enclosed by ""
    LINES TERMINATED BY '\r\n'
    IGNORE 1 LINES
    (column1,column2,column3,column4,column5);

命令注释：

>  *  **table\_name：**是被导入的数据库表名
>  *  **column：**字段名
>  *  **CHARACTER SET utf8：** 是设置导入的数据字符按utf8格式（否则可能出现乱码）
>  *  **FIELDS TERMINATED BY ','：**指定字段分隔符
>  *  **OPTIONALLY ENCLOSED BY '"'：**认为双引号中的是一个独立的字段。Excel 转 CSV 时，有特殊字符（逗号、顿号等）的字段，会自动用双引号引起来
>  *  **LINES TERMINATED BY '\\n'：**指定行分隔符，注意，在 Windows 平台上创建的文件，分隔符是 '\\r\\n'

顺带说下连接数据库的命令吧，如下：

我是win10环境，先进入自己本地mysql的安装路径下，进入bin目录，在地址栏输入cmd，打开命令终端，如下：

![20210129175111472.png][]

然后输入一下命令：

mysql -h ip地址 -u mysql账号名 -p

然后输入密码，即可登录连接上自己的数据库了~~~~！如此选择指定数据库后，就可以输入上述命令进行导入了~~

不出意外的话，就可以顺利导入啦。。。

## 2.2 遇到的问题 ##

### 2.2.1 问题一：乱码 ###

但是，天将降大任于斯人也，必先劳其筋骨，饿其体肤。。。。。所以，我导入失败了~~~ 乱码了，我丢！！！！

尝试了很多办法，不得其解。后来没办法，我想换一种方式解决~

就是用自己本地的数据库，使用**dbeaver**界面导入功能先把数据导入，然后再导出sql脚本。。后续上线或是其他环境的数据库，直接使用sql脚本，就应该没问题了。。。

![38b3b8441e76a354daa977717341b2dd.png][]

### 2.2.2 问题二：导入时因数据特殊值原因报错 ###

现在使用**dbeaver**导入功能导入：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l5MzM5NDUyNjg5_size_16_color_FFFFFF_t_70][]

然鹅，，，另一个问题出现了。。TMD导入时，因为不明数据，导致导入报错。并且通过CSV文件，我筛查了很久·，去掉了所有标点符号，奇异字符。也是不行~~~

看了**dbeaver**的报错日志：但是显示的列是按十六进制显示的，并且显示不全。。。就很蛋疼~~~~

![头皮发麻\_头皮发麻表情][b3237d10e71f0a7abfe5154bcbda2d8a.png]

## 2.3 换个姿势导入数据库 ##

没办法，终极大招 ~~~，上才艺！

后来痛定思痛，我们的目标是将数据导入进去，什么方式，不重要！所以，我们不能局限在传统的导入方式上，换个姿势，我们是否可以把CSV内的数据，手动格式化成SQL脚本呢。这样不就可以导入了吗？

![3039a1b2bcbe1c9fec8926f93469f29b.png][]

于是，抠出CSV内的数据，放在文本中，使用CTRL+H，然后使用**替换大法，**哈哈，这样sql脚本就成啦~~

剩下导入的过程，我就不再赘述啦。。。大功告成！！！

--------------------

# 3、总结 #

我觉得开发过程中，想法很重要！！！别人都说程序员，思想容易固化，所以：

1、解决问题的过程中，多想几种解决方式，不要执着于一种方式

2、思考问题的时候，尽量全局性去想，不要顾头不顾尾

最后，有感兴趣的朋友，欢迎在下方留言讨论，点赞关注哈~~~~~

[SQL_sql]: https://blog.csdn.net/yy339452689/article/details/103928252
[SQL_sql 1]: https://blog.csdn.net/yy339452689/article/details/103958173
[Index]: https://blog.csdn.net/yy339452689/article/details/103816128
[Link 1]: https://blog.csdn.net/yy339452689/article/details/109314083
[20210129175111472.png]: /images/20221024/f486f028d6754e818d750eba00e6dc74.png
[38b3b8441e76a354daa977717341b2dd.png]: /images/20221024/8fa9a086143f4d7a93535ef2b2bd6560.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l5MzM5NDUyNjg5_size_16_color_FFFFFF_t_70]: /images/20221024/99c66481d4cb408dad537c7dff3fe98e.png
[b3237d10e71f0a7abfe5154bcbda2d8a.png]: /images/20221024/55d9ad0fe08446b1acac81e2abbc9625.png
[3039a1b2bcbe1c9fec8926f93469f29b.png]: /images/20221024/a3b277388f164f02829cb15feb73d96d.png