TPC-MySQL测试的安装、使用与结果分析

电玩女神 2022-08-27 14:40 289阅读 0赞

一、TPC、tpc-c与tpc-mysql

TPC:全称Transaction Processing Performance Council，是一家非盈利组织，该组织制定各种商业应用的基准测试规范，任意厂商或个人，都可以按照其规范来开发自己的应用程序。

tpc-c：由TPC推出的一套基准测试程序，主要用于联机事务类应用的测试，最后的c仅是序号，a\\b\\d\\R\\W都废弃了。Tpc-c没有废弃，是套基准，不管是有了新硬件，还是软件出了新版本，为显示新产品的优势，需要拿出些数值做对比，tpcc就是数值之一，各大厂商都着力在吹。tpc-c针对连接事务类应利用和决策支持类应用（数据仓库），另有一套标准，叫tpc-h。  
tpcc-msyql：有Percona基于TPCC规范开发的一套MySQL基准测试程序。  
  
tpcc-mysql的下载地址为：  
https://code.launchpad.net/~percona-dev/perconatools/tpcc-mysql

二、tpcc-mysql软件的编译安装

该软件的下载和安装过程如下：

\# **yum install bzr -y**\--安装bzr工具包

Loaded plugins: fastestmirror, refresh-packagekit, security  
Loading mirror speeds from cached hostfile  
 \* base: mirror.bit.edu.cn  
 \* extras: mirror.bit.edu.cn  
 \* updates: mirror.bit.edu.cn  
base                                                     | 3.7 kB     00:00       
extras                                                   | 3.4 kB     00:00       
updates                                                  | 3.4 kB     00:00       
Setting up Install Process  
Resolving Dependencies  
\--> Running transaction check  
\---> Package bzr.x86\_64 0:2.1.1-2.el6 will be installed  
\--> Finished Dependency Resolution  
  
  
Dependencies Resolved  
  
  
================================================================================  
 Package        Arch              Version                 Repository       Size  
================================================================================  
Installing:  
 bzr            x86\_64            2.1.1-2.el6             base            5.3 M  
  
  
Transaction Summary  
================================================================================  
Install       1 Package(s)  
  
  
Total download size: 5.3 M  
Installed size: 23 M  
Downloading Packages:  
bzr-2.1.1-2.el6.x86\_64.rpm                               | 5.3 MB     00:01       
Running rpm\_check\_debug  
Running Transaction Test  
Transaction Test Succeeded  
Running Transaction  
  Installing : bzr-2.1.1-2.el6.x86\_64                                       1/1   
  Verifying  : bzr-2.1.1-2.el6.x86\_64                                       1/1   
  
  
Installed:  
  bzr.x86\_64 0:2.1.1-2.el6                                                        
  
  
Complete!

\# **cd /data/setup**  
\# **bzr branch lp:~percona-dev/perconatools/tpcc-mysql**  
You have not informed bzr of your Launchpad ID, and you must do this to  
write to Launchpad or access private data.  See "bzr help launchpad-login".

Branched 48 revision(s).

编译安装tpcc-mysql，步骤如下：  
\#  **export PATH=/usr/local/mysql/bin:$PATH**  
\# **cd tpcc-mysql/src**

\# **make**

**cc -w -O2 -g -I. \`mysql\_config --include\`  -c load.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c support.c  
cc load.o support.o \`mysql\_config --libs\_r\` -lrt -o ../tpcc\_load  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c main.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c spt\_proc.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c driver.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c sequence.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c rthist.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c neword.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c payment.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c ordstat.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c delivery.c  
cc -w -O2 -g -I. \`mysql\_config --include\`  -c slev.c  
cc main.o spt\_proc.o driver.o support.o sequence.o rthist.o neword.o payment.o ordstat.o delivery.o slev.o \`mysql\_config --libs\_r\` -lrt -o ../tpcc\_start**

如果编译过程没有出现错误的话，就算安装好了，tpcc-mysql目录下会生成两个可执行文件；  
tpcc\_load：用于初始化数据  
tpcc\_start：用于执行基准测试  
在测试时，需要先执行（且只执行一次）tpcc\_load命令，然后在执行tpcc\_start，但在执行前要创建需要的表和索引。  
  
三、创建数据库预订数据  
创建测试数据库并导入预订脚本：  
\# **mysqladmin -u root -p  create  tpcc100    **               //创建所需的数据库  
mysql$  ** mysql  -u root -p  tpcc < create\_table.sql**    //导入表结构                         
mysql$  ** mysql  -u root -p  tpcc < add\_fkey\_idx.sql**    //创建表索引及FK等  
\[root@racdb2 tpcc-mysql\]\# **./tpcc\_load help**  
 usage: tpcc\_load \[server\] \[DB\] \[user\] \[pass\] \[warehouse\]  
      OR  
        tpcc\_load \[server\] \[DB\] \[user\] \[pass\] \[warehouse\] \[part\] \[min\_wh\] \[max\_wh\]  
           \* \[part\]: 1=ITEMS 2=WAREHOUSE 3=CUSTOMER 4=ORDERS  
例如：创建100个数据仓库并填充数据       
\[root@racdb2 tpcc-mysql\]\# ./tpcc\_load  localhost  tpcc100  root  'rootpassword'  100

四、增加参数，执行tpcc\_load初始化数据

注意为了保证下面两个脚本能够执行成功，建议在.bash\_profile文件中增加如下参数：  
\# parameters for tpcc-mysql  
export MYSQL\_HOME=/usr/local/mysql  
export C\_INCLUDE\_PATH=$MYSQL\_HOME/include \--避免找不到MySQL的头文件的错误  
export PATH=$MYSQL\_HOME/bin:$PATH \--避免找不到mysql\_config程序的错误  
export LD\_LIBRARY\_PATH=$MYSQL\_HOME/lib:$LD\_LIBRARY\_PATH \--避免找不到mysql库的错误  
  
  
上述参数生效后，根据语法，执行tpcc\_load初始化数据的命令：  
$ **cd /data/setup/tpcc-mysql/**  
$ **./tpcc\_load 172.32.1.203 tpcc root "123456" 10**  
输出结果如下：  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
\*\*\* \#\#\#easy\#\#\# TPC-C Data Loader  \*\*\*  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
<Parameters>  
     \[server\]: 172.32.1.203  
     \[port\]: 3306  
     \[DBname\]: tpcc  
       \[user\]: root  
       \[pass\]: 123456  
  \[warehouse\]: 10  
TPCC Data Load Started...  
Loading Item   
.................................................. 5000  
..................................................  
Loading Orders for D=10, W= 10  
.......... 1000  
.......... 2000  
.......... 3000  
Orders Done.  
  
  
...DATA LOADING COMPLETED SUCCESSFULLY.  
  
  
返回结果需要运行一段时间，一次有仓库、商品、订单等，具体信息可以不用关注，最后操作完成后，会提示数据加载完成。

详细信息参见：http://blog.csdn.net/yumushui/article/details/37762517

五、执行tpcc\_start执行基准测试

初始化数据完成后，就可以使用tpcc\_start进行基准测试，该命令行工具支持的参数如下：  
Usage:tpcc\_start -h server\_host -P port -d database\_name -u mysql\_user -p mysql\_password -w warehouses -c connections -r warmup\_time -l running\_time -i report\_interval -f report\_file -t trx\_file  
前面是与mysql连接的参数，后面参数的意义如下：  
\-r warmup\_time:指定预热时间，以秒为单位，默认是10秒，主要目的是为了将数据加载到内存；  
\-l running\_time:指定测试执行时间，以秒为单位，默认是20秒；  
\-i report\_interval:指定生产报告的时间间隔；  
\-f report\_file:将测试中各项操作的记录输出到指定文件内保存；  
\-t trx\_file:输出更详细的操作信息到指定文件内保存；  
  
  
$ **/data/setup/tpcc-mysql/tpcc\_start -h 172.32.1.203 -d tpcc -u root -p "123456" -w 10 -c 10 -r 100 -l 300 -f /home/mysql/tpcc\_mysql.log -t /home/mysql/tpcc\_mysql.rtx**  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
\*\*\* \#\#\#easy\#\#\# TPC-C Load Generator \*\*\*  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
option h with value '172.32.1.203'  
option d with value 'tpcc'  
option u with value 'root'  
option p with value '123456'  
option w with value '10'  
option c with value '10'  
option r with value '100'  
option l with value '300'  
option f with value '/home/mysql/tpcc\_mysql.log'  
option t with value '/home/mysql/tpcc\_mysql.rtx'  
<Parameters>  
     \[server\]: 172.32.1.203  
     \[port\]: 3306  
     \[DBname\]: tpcc  
       \[user\]: root  
       \[pass\]: 123456  
  \[warehouse\]: 10  
 \[connection\]: 10  
     \[rampup\]: 100 (sec.)  
    \[measure\]: 300 (sec.)  
  
  
RAMP-UP TIME.(100 sec.)  
  
  
返回信息中的内容比较有意义，首先是执行命令时指定的参数信息，格式清晰。接下来需要等一会，指定的预热及测试的时间，只是得7分钟。测试返回的结果是：  
10, 2948(20):2.161|302.746, 2950(4):0.666|186.816, 294(0):0.365|21.915, 296(0):8.277|291.135, 295(1):10.260|41.107  
  20, 2663(18):2.423|40.398, 2664(5):0.649|24.596, 266(0):0.276|0.529, 265(0):10.543|43.207, 266(6):19.999|56.884  
  30, 2190(13):2.282|89.741, 2187(4):0.627|61.344, 219(0):0.316|0.473, 219(0):10.018|44.254, 219(0):8.537|13.819  
这类信息，每10秒产生一条输出，每个翻译结果以逗号分隔后，共分为6项，一次为操作时间（秒）、创建订单、订单交付、查询订单、发货、查询库存。  
第一项是定义任务执行的时间，按照每10秒为一个区间进行输出。后5项格式一样分属5个不同的业务操作，每一项都是4个属性值，即该区间内成功执行的事务数、出现延迟的事务数、90%事务的响应时间、事务的最大响应时间。  
以一条具体的例子做详细说明：  
10, 2948(20):2.161|302.746, 2950(4):0.666|186.816, 294(0):0.365|21.915, 296(0):8.277|291.135, 295(1):10.260|41.107  
这条记录表示，在第一个10秒区间内：  
创建订单。共操作2984次，失败20次，90%的事务平均操作时间2.161秒，最大操作时间为302.746秒。  
订单支付。共操作2950次，失败4次，90%的事务平均操作时间0.666秒，最大操作时间为186.816秒。  
查询订单。共操作294次，失败0次，90%的事务平均操作时间0.365秒，最大操作时间为21.915秒。  
发货。共操作296次，失败0次，90%的事务平均操作时间8.277秒，最大操作时间为291.135秒。  
查询库存。共操作295次，失败1次，90%的事务平均操作时间10.260秒，最大操作时间为41.107秒。  
  
输出记录中，一条条分析不够形象，可以讲数字输入到Excel中，转换成图形，就可以比较直观了。  
  
接下来的信息，是汇总各线程操作的各项事务的数据量，内容如下：  
<Raw Results>  
  \[0\] sc:83441  lt:382  rt:0  fl:0   
  \[1\] sc:83638  lt:174  rt:0  fl:0   
  \[2\] sc:8372  lt:10  rt:0  fl:0   
  \[3\] sc:8370  lt:12  rt:0  fl:0   
  \[4\] sc:8325  lt:57  rt:0  fl:0   
 in 300 sec.  
  
  
在反映数据量时，使用了若干简写指标，实际代表的意义如下：  
sc:即seccess,操作成功的数量。  
lt:即late，指操作出现延迟的数量。  
rt:即retry，指操作重试的数量。  
fl:即failure，指操作失败的数量。  
  
  
再接下来输出的是不同类型的业务执行的事务数占比情况：  
 \[transaction percentage\]  
        Payment: 43.48% (>=43.0%) \[OK\]  
   Order-Status: 4.35% (>= 4.0%) \[OK\]  
       Delivery: 4.35% (>= 4.0%) \[OK\]  
    Stock-Level: 4.35% (>= 4.0%) \[OK\]  
依次对应的是订单支付、查询订单、发货、查询库存4项业务的占比，加上没有体现的创建订单的占比，为100%。  
  
  
在命令行的最后，输出了一项名为TpmC的指标：  
<TpmC>  
                 16764.600 TpmC

这项指标可以理解为整体性能指标，达标了本系统每分钟能够处理的订单数量。注意这里是分钟，因为tpm是Transactions per minute的简写，而C指的就是执行TPC-C基准测试。

tpcc\_start命令执行的完整返回结果参见：  
http://blog.csdn.net/yumushui/article/details/37762723

Tpcc没有收集系统性能指标，我们科通过其他途径对此期间的系统性能进行收集，重点关注CPU和系统平均负载。