mysql插入性能测试

川长思鸟来 2023-07-06 04:56 11阅读 0赞

一、环境

vm虚拟机,centos7,MySQL5.7,jdk8

两台机器是局域网

二、测试代码

数据表：16个分表，表结构是20个字段，15个字段的长度是100个字符填充。

使用java直接连接数据库，用多线程测试，每个线程一个数据库连接，事务自动提交。每个线程完成批量插入后才关闭连接。

mysql没有进行线程优化，都是使用默认配置。

三、测试数据

1、1核，单表，innoDB

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td style="width:137px;">每个线程插入条数</td> 
   <td style="width:129px;">单线程耗时</td> 
   <td style="width:107px;">线程数</td> 
   <td style="width:126px;">总tps</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">63s</td> 
   <td style="width:107px;">1个</td> 
   <td style="width:126px;">1500条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">78s</td> 
   <td style="width:107px;">2个</td> 
   <td style="width:126px;">2564条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">127s</td> 
   <td style="width:107px;">4个</td> 
   <td style="width:126px;">3149条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">224s</td> 
   <td style="width:107px;">8个</td> 
   <td style="width:126px;">3571条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">340s</td> 
   <td style="width:107px;">12个</td> 
   <td style="width:126px;">3529条</td> 
  </tr> 
 </tbody> 
</table>

2、4核，单表，innoDB

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td style="width:137px;">每个线程插入条数</td> 
   <td style="width:129px;">单线程耗时</td> 
   <td style="width:107px;">线程数</td> 
   <td style="width:126px;">总tps</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">60s</td> 
   <td style="width:107px;">1个</td> 
   <td style="width:126px;">1666条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">64s</td> 
   <td style="width:107px;">2个</td> 
   <td style="width:126px;">3200条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">97s</td> 
   <td style="width:107px;">4个</td> 
   <td style="width:126px;">4123条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">195s</td> 
   <td style="width:107px;">8个</td> 
   <td style="width:126px;">4100条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">10万</td> 
   <td style="width:129px;">325s</td> 
   <td style="width:107px;">12个</td> 
   <td style="width:126px;">3600条</td> 
  </tr> 
 </tbody> 
</table>

3、1核，16个表，MyISAM

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td style="width:137px;">每个线程插入条数</td> 
   <td style="width:129px;">单线程耗时</td> 
   <td style="width:107px;">线程数</td> 
   <td style="width:126px;">总tps</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">2万</td> 
   <td style="width:129px;">10s</td> 
   <td style="width:107px;">1个</td> 
   <td style="width:126px;">2000条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5000</td> 
   <td style="width:129px;">2s</td> 
   <td style="width:107px;">2个</td> 
   <td style="width:126px;">5000条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5千</td> 
   <td style="width:129px;">2s</td> 
   <td style="width:107px;">4个</td> 
   <td style="width:126px;">10000条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5千</td> 
   <td style="width:129px;">5s</td> 
   <td style="width:107px;">8个</td> 
   <td style="width:126px;">8000条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5千</td> 
   <td style="width:129px;">10s</td> 
   <td style="width:107px;">16个</td> 
   <td style="width:126px;">8000条</td> 
  </tr> 
 </tbody> 
</table>

4、2核，16个表，MyISAM

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td style="width:137px;">每个线程插入条数</td> 
   <td style="width:129px;">单线程耗时</td> 
   <td style="width:107px;">线程数</td> 
   <td style="width:126px;">总tps</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">2万</td> 
   <td style="width:129px;">7s</td> 
   <td style="width:107px;">1个</td> 
   <td style="width:126px;">3000条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5000</td> 
   <td style="width:129px;">2s</td> 
   <td style="width:107px;">2个</td> 
   <td style="width:126px;">5000条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5千</td> 
   <td style="width:129px;">2s</td> 
   <td style="width:107px;">4个</td> 
   <td style="width:126px;">10000条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5千</td> 
   <td style="width:129px;">5s</td> 
   <td style="width:107px;">8个</td> 
   <td style="width:126px;">8000条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5千</td> 
   <td style="width:129px;">12s</td> 
   <td style="width:107px;">16个</td> 
   <td style="width:126px;">6666条</td> 
  </tr> 
 </tbody> 
</table>

5、4核，16个表，MyISAM

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td style="width:137px;">每个线程插入条数</td> 
   <td style="width:129px;">单线程耗时</td> 
   <td style="width:107px;">线程数</td> 
   <td style="width:126px;">总tps</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">2万</td> 
   <td style="width:129px;">11s</td> 
   <td style="width:107px;">1个</td> 
   <td style="width:126px;">1176条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5000</td> 
   <td style="width:129px;">3s</td> 
   <td style="width:107px;">2个</td> 
   <td style="width:126px;">3300条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5千</td> 
   <td style="width:129px;">5s</td> 
   <td style="width:107px;">4个</td> 
   <td style="width:126px;">4000条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5千</td> 
   <td style="width:129px;">11s</td> 
   <td style="width:107px;">8个</td> 
   <td style="width:126px;">3636条</td> 
  </tr> 
  <tr> 
   <td style="width:137px;">5千</td> 
   <td style="width:129px;">15s</td> 
   <td style="width:107px;">16个</td> 
   <td style="width:126px;">5333条</td> 
  </tr> 
 </tbody> 
</table>

四、测试结论

1、在某些条件下MyISAM的插入效率比innoDB快。

2、连接数是服务器核数的两倍时，可获得最佳的插入性能。

3、多连接数时，InnoDB实例的tps是：2500-4100，MyISAM实例的tps是：3300-1万

4、Sysbench基准测试，10个线程，10个表，每个表插入10万条数据，结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1b3Fpbmdsb25nODUwMTAy_size_16_color_FFFFFF_t_70][]

五、理论

1、当服务器核数，数据库连接数，数据库内部线程数一样的情况下，多核应该是单核的倍数，但是测试时没有证明这点，可能是mysql线程配置不是最优的。

2、MyISAM时，4核的tps居然比2核的低很多，这个很难解释。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1b3Fpbmdsb25nODUwMTAy_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200218002402255.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1b3Fpbmdsb25nODUwMTAy,size_16,color_FFFFFF,t_70