如何提高mysql load data infile的速度

╰+哭是因爲堅強的太久メ 2022-07-12 10:14 524阅读 0赞

##     ##

[版权声明][Link 1] ：转载时请以超链接形式标明文章原始出处和作者信息及[本声明][Link 2]  
[http://bbayou.blogbus.com/logs/37045617.html][http_bbayou.blogbus.com_logs_37045617.html]

测试数据2.5G，共有数据9427567条。用的mysql的large服务器的配置。  
**load** 一次需要大概10分钟左右。  
建的表用的是MYISAM，调整了几个session的参数值

SET  SESSION  BULK\_INSERT\_BUFFER\_SIZE = 256217728 ;  
 SET  SESSION  MYISAM\_SORT\_BUFFER\_SIZE = 256217728 ;

运行结果如下

Query OK, 9427567 rows affected, 1558 warnings (3 min 55.21 sec)  
Records: 9427567 Deleted: 0 Skipped: 0 Warnings: 0  
google到的还可以

set  global  KEY\_BUFFER\_SIZE = 256217728 ;  
 alter  table  tablename  disable  keys ;

**如何load 数据里面带反斜杠(backslash)”/” 的数据**  
由于如果你没有指定FIELDS子句，则默认值为假设您写下如下语句时的值：  
FIELDS TERMINATED BY ‘/t’ ENCLOSED BY ” ESCAPED BY ‘//’  
所以，如果你的数据里面有反斜杠(backslash)”/”的时候，数据会出现被截断的问题。出现这种问题，只要写上如下的fields子句即可  
FIELDS TERMINATED BY ‘/t’ ENCLOSED BY ” ESCAPED BY ”

**如何load 不同编码的数据**  
原来用的4.X的mysql，我是select INTO OUTFILE ，只后用iconv,或者其他软件来做。可以[参考这里][Link 3] ，但是由于这次数据大，用ultraedit等软件打开都要半天。好在新版的mysql可以增加一个新的参数  
CHARACTER SET gbk  
我的文本数据是GBK的编码，数据表是utf8的，用这种方法测试成功。  
**如何load 的时候只insert特定的列**  
比如表里面有比元数据多的列。可以在**load** 的时候指定要插入的字段名字。

示例的代码如下：

LOAD  DATA  INFILE  ' ~/data.txt '   
 INTO  TABLE  fb0505   
 CHARACTER  SET  gbk   
 FIELDS  TERMINATED  BY  ' /t '  ENCLOSED  BY  ''  ESCAPED  BY  ''   
 LINES  TERMINATED  BY  ' /n '  STARTING  BY  ''   
 ( seller\_id , fb\_type , fb\_date , item\_url ) ;

其中表fb0505里面还有一列是id。

[Link 1]: http://creativecommons.org/licenses/by/3.0/deed.zh
[Link 2]: http://bangzhuzhongxin.blogbus.com/logs/11205960.html
[http_bbayou.blogbus.com_logs_37045617.html]: http://bbayou.blogbus.com/logs/37045617.html
[Link 3]: http://www.juyimeng.com/discuz-mysql-database-charset-convert-latin1-utf8.html