使用TPC-DS对kudu和impala进行基准测试

雨点打透心脏的1/2处 2023-02-19 06:28 9阅读 0赞

参考文章：

[tpc-ds官网][tpc-ds]

[使用TPC-DS工具生成数据][TPC-DS]

[使用TPC-DS对kudu进行基准测试][TPC-DS_kudu]

[tpc-ds测试tidb结果][tpc-ds_tidb]

# 1. 下载工具 #

**两种渠道**

## 1.1 官网（建议直接跳过～） ##

地址：[http://www.tpc.org/tpc\_documents\_current\_versions/current\_specifications.asp][tpc-ds]

在信息填写正确的情况下，无法下载。看网友的解答，需要用谷歌浏览器才能下载。尝试未果。

## 1.2 github上下载 ##

地址： [https://github.com/gregrahn/tpcds-kit.git][https_github.com_gregrahn_tpcds-kit.git]

ps：官方的包生成sql的时候会报错，上面这个大神已经修复。

# 2. 编译安装 #

Make sure the required development tools are installed:

**Ubuntu:**

sudo apt-get install gcc make flex bison byacc git

**CentOS/RHEL:**

sudo yum install gcc make flex bison byacc git

Then run the following commands to clone the repo and build the tools:

git clone https://github.com/gregrahn/tpcds-kit.git
    cd tpcds-kit/tools
    make OS=LINUX

**macOS**

Make sure the required development tools are installed:

xcode-select --install

Then run the following commands to clone the repo and build the tools:

git clone https://github.com/gregrahn/tpcds-kit.git
    cd tpcds-kit/tools
    make OS=MACOS

如果生成dsdgen和dsqgen且无报错，说明编译成功：

ll *gen

# 3. 生成SQL  #

查询SQL使用dsqgen生成，主要用于测试数据仓库的性能，一共99个。详细用法可以用--help查看帮助信息。这里不做介绍直接生成。

./dsqgen \
    -DIRECTORY ../query_templates/ \
    -TEMPLATE "query1.tpl" \
    -DIALECT netezza \
    -FILTER Y > ../sql/query1.sql
    
    #说明
    -DIRECTORY：SQL模板的路径
    -TEMPLATE：SQL模板的名称
    -DIALECT：include query dialect defintions found in <s>.tpl
    -FILTER：重定向到标准输出。
    
    -DIR 生成目录
    -SCALE 数据大小（单位GB）
    -DELIMITER 字段分隔符，默认|
    -TERMINATE 末尾是否有分隔符，参数 Y或者N

**创建表语句**

> TPC-DS已经提前准备好了创建表相关的SQL文件  
> 文件位于tools目录下，具体文件如下：  
>     tpcds.sql            \# 创建25张表的sql语句  
>     tpcds\_ri.sql        \# 创建表与表之间关系的sql语句  
>     tpcds\_source.sql

注意：不同的库SQL语法不一样，需要对应修改

## 3.1 循环生成SQL的shell版本 ##

#!/bin/sh
    for i in `seq 1 99`
    do
    ./dsqgen \
    -DIRECTORY ../query_templates/ \
    -TEMPLATE "query${i}.tpl" \
    -DIALECT netezza \
    -FILTER Y > ../sql/query${i}.sql
    done

## 3.2 循环生成SQL的Python3版 ##

#coding:utf-8
    import os
    print("generate query sql")
    for i in range(1,100):
        tpl = "query"+str(i)+".tpl"
        qsql = "query" +str(i) +".sql"
        #拼接命令
        cmd = "./dsqgen  -DIRECTORY ../query_templates/ "+"-TEMPLATE "+tpl+" -DIALECT netezza -FILTER Y > "+"../sql/"+qsql
        #print(cmd)
        #执行命令
        os.system(cmd)

# 4. TPC-DS工具的使用 #

## 4.1 生成数据 ##

> Data generation is done via `dsdgen`. See `dsdgen -help` for all options. If you do not run `dsdgen` from the `tools/` directory then you will need to use the option `-DISTRIBUTIONS /.../tpcds-kit/tools/tpcds.idx`. The output directory (specified via the `-DIR` option) must exist prior to running `dsdgen`.

./dsdgen  --help

## 4.2 TPC-DS目录说明 ##

>  *  DIR：数据存放目录。
>  *  SCALE：数据量，以GB为单位。
>  *  TABLE：生成哪张表的数据，一共有24张表哦。
>  *  PARALLEL：生成的数据一共分为多少份，一般生成TB级数据才会用到。
>  *  CHILD：当前数据是第几份，与PARALLEL配对使用。
>  *  FORCE：强制写入数据。

## 4.3 TPC-DS常用命令 ##

### 生成1G数据 ###

# 1G数据需要2～3min左右
    ./dsdgen -scale 1 -dir ../data/

### 查询数据 ###

Query generation is done via `dsqgen`. See `dsqgen -help` for all options.

The following command can be used to generate all 99 queries in numerical order (`-QUALIFY`) for the 10TB scale factor (`-SCALE`) using the Netezza dialect template (`-DIALECT`) with the output going to `/tmp/query_0.sql` (`-OUTPUT_DIR`).

dsqgen \
    -DIRECTORY ../query_templates \    // SQL模板的路径
    -INPUT ../query_templates/templates.lst \
    -VERBOSE Y \
    -QUALIFY Y \
    -SCALE 10000 \
    -DIALECT netezza \
    -OUTPUT_DIR /tmp

### **一些案例 ** ###

**1TB的TPC-DS数据：**

./tpcds-setup.sh 1000

**1TP的TPC-H数据： **

./tpch-setup.sh 1000

**100TB的TPC-DS数据：**

./tpcds-setup.sh 100000

**30TB文本格式的TPC-DS数据：**

FORMAT=textfile ./tpcds-setup 30000

**30TB RCFile格式的TPC-DS数据：**

FORMAT=rcfile ./tpcds-setup 30000

# 5. TPC-DS测试Kudu #

## 5.1 操作步骤 ##

> 1.  安装TPC-DS工具
> 2.  初始化测试目录，使用TPC-DS工具生成测试数据dat文件和查询语句。
> 3.  在HDFS新建目录，将测试数据dat文件上传到HDFS中。
> 4.  将TPC-DS提供的DDL语句做语法兼容改造。
> 5.  准备impala外部表和kudu表的DDL、COUNT、LIMIT语句，整理成SQL文件。准备统计分析（computer status table\_name）的SQL语句。
> 6.  调用start\_tpc\_import.sh进行impala外部表的建表，执行kudu内部表ddl，将impala外部表数据导入到kudu内部表，调用统计分析SQL，收集执行结果信息到tpc\_ds\_test/result目录查看，具体的SQL文件执行日志在tpc\_ds\_test/logs目录查看。
> 7.  整理TPC-DS提供的SQL基准查询语句，由于有些语法不兼容kudu，需要进行手动调整，最后整理到单独SQL文件中。
> 8.  调用start\_kudu\_query.sh，执行手动调整过后的TPC—DS的SQL基准查询。收集执行结果信息到tpc\_ds\_test/result目录查看，具体的SQL文件执行日志在tpc\_ds\_test/logs目录查看。

**自动化测试脚本地址:[https://github.com/linmeibao/tpc\_ds\_test][https_github.com_linmeibao_tpc_ds_test]**

[tpc-ds]: http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp
[TPC-DS]: https://blog.csdn.net/weixin_30730151/article/details/98211147
[TPC-DS_kudu]: https://blog.csdn.net/sinat_37316828/article/details/106795862?%3E
[tpc-ds_tidb]: https://www.jianshu.com/p/16ba39d53671
[https_github.com_gregrahn_tpcds-kit.git]: https://github.com/gregrahn/tpcds-kit.git
[https_github.com_linmeibao_tpc_ds_test]: https://github.com/linmeibao/tpc_ds_test