阿里云分析型数据库MySQL版（AnalyticDB）测试初体验

阳光穿透心脏的1/2处 2023-07-22 12:28 11阅读 0赞

--------------------

> 其实是测试半遂体验。

这阵子对OLAP数据库产生了兴趣，先是简单测试了ClickHouse，性能的确不错，不过它在稳定&可靠性，整体生态&周边配套方面还有待加强，我会持续保持关注。

3月27日，腾讯云推送的文章 **TXSQL(TencentDB for MySQL) 8.0特性介绍** 中提到即将推出 **基于MySQL框架的列存引擎CSTORE**，看了下架构图，和以前红极一时的 infobright 有点神似。

![format_png][]

不过现在还没上线，还不能开始内测，只能看看了。

转过身看看阿里云，发现有 **分析型数据库MySQL版**（AnalyticDB，简称ADB） 以及 **云数据库ClickHouse** 可选。

ADB的产品介绍可以看官方文档 什么是分析型数据库MySQL版，我抓取了其中几个关键技术信息：

*  云端PB级高并发实时数据仓库。
 *  采用关系模型的行列混存技术。
 *  自动索引，智能优化器。
 *  高度兼容MySQL和SQL 2003语法。
 *  可对RDS直接创建一个分析实例，构建ADB，并利用DTS实现数据同步。

看着很牛逼，有木有，那就测测呗。

**1. 新建RDS实例和ADB实例**

我选择的RDS实例对标之前用于测试ClickHouse的规则

*  4CPU
 *  16G内存
 *  500G存储

选择ADB实例时，系统会根据RDS中的数据量，只显示符合条件的规格，我这里选择的是 3.0版本、T16型号、存储空间 600G。

**2. 导入测试数据**

老样子，用ClickHouse官网提到的dbgen工具生成测试数据，生成数据时选择  `-s 100` 参数。

然后在RDS实例中分别导入到几个测试表。

MySQL [testabc]> load data local infile '/data/ssb-dbgen/customer.tbl' 
     into table customer fields terminated by '\t';

**提醒：**ClickHouse官网提供的建表DDL需要自己微调下，改成适用于MySQL的语法和数据类型。

**3. 创建数据同步DTS任务**

DTS的工作机制类似 **pt-table-sync**，需要每个表都要指定一个主键，这就让我很不开心了。

生成的测试表中，是在其他表都导完数据后，再用 **CREATE...SELECT** 创建的。

几个测试表的总数据量是604,637,902(6亿)，创建完DTS同步任务后，经过22.5小时候，同步的数据量约为325,174,022条，完成率53.78%，折算下来每秒约3990条记录，这个速度如果是OLTP数据库也还算可以，但放在海量数据的OLAP场景下，可就有点慢了。

对了，我选择的是 **medium** 规则，号称最高同步性能 **5000 records/s**。

DTS启动、停止

![format_png 1][]

同步进度

![format_png 2][]

由于测试经费预算有限，我只能放弃全量数据同步，有多少算多少吧。

接下来的事情可就有点头疼了。

上面说了，lineorder\_flat表是 **CREATE...SELECT** 创建的，而这个语法在ADB中是不支持的（产品页面上宣称全面支持MySQL语法，产品经理果然很会画大饼啊，哈哈）。

好嘛，我退而求其次，改成 **在RDS中先创建一个空表，让DTS把表结构同步过去，再在ADB中用INSERT...SELECT写数据**。

由于lineorder\_flat原表是没有主键的，我需要新建一个自增INT做主键，否则DTS配置阶段是过不去的，无论我选择分区表还是维度表，都必须指定主键列。

分区表模式下：

![format_png 3][]

维度表模式下：

![format_png 4][]

好了，变通之后表结构是同步过去了，可是在ADB上执行 **INSERT...SELECT** 时，弹出下面的错误提醒：

INSERT INTO lineorder_flat SELECT ... FROM lineorder AS l INNER JOIN customer AS c ON c.C_CUSTKEY = l.LO_CUSTKEY INNER JOIN supplier AS s ON s.S_SUPPKEY = l.LO_SUPPKEY INNER JOIN part AS p ON p.P_PARTKEY = l.LO_PARTKEY limit 1;
    
    失败原因：[40040, 2020040414153117201906308103453294111] Query execution error: : Insert query has mismatched column types. The 1 column has mismatched types. Table: bigint. Query: decimal(20,0).

而上面这条SQL，如果**把所有列读取出来，再手动构造成INSERT写入，则不会报错**，这就尴尬了，搞不懂具体是错在哪里。

不得已，只能回到RDS实例上，硬着头皮对其他几个表都先加上主键和必要，再生成测试数据了。

在RDS主库上往lineorder\_flat表中写入1000万条数据，等到DTS同步完成后，再在ADB上跑测试SQL。

**4. 执行测试SQL**

下面是几个测试SQL执行耗时、返回数据，和ClickHouse运行结果的对比（提醒：**CH的数据量是6亿，ADB的数据量是1000万，相差60倍**）。

<table> 
 <thead> 
  <tr> 
   <th>SQL</th> 
   <th>ADB(毫秒)/返回数量</th> 
   <th>CH(秒)/返回数量</th> 
   <th>CH扫描数量(10万)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Q1.1</td> 
   <td>33/0</td> 
   <td>2.141/1</td> 
   <td>91.01</td> 
  </tr> 
  <tr> 
   <td>Q1.2</td> 
   <td>33/0</td> 
   <td>0.320/1</td> 
   <td>7.75</td> 
  </tr> 
  <tr> 
   <td>Q1.3</td> 
   <td>31/0</td> 
   <td>0.053/1</td> 
   <td>1.81</td> 
  </tr> 
  <tr> 
   <td>Q2.1</td> 
   <td>271/100</td> 
   <td>17.979/280</td> 
   <td>600.04</td> 
  </tr> 
  <tr> 
   <td>Q2.2</td> 
   <td>385/56</td> 
   <td>3.625/56</td> 
   <td>600.04</td> 
  </tr> 
  <tr> 
   <td>Q2.3</td> 
   <td>99/7</td> 
   <td>3.263/7</td> 
   <td>600.04</td> 
  </tr> 
  <tr> 
   <td>Q3.1</td> 
   <td>383/100</td> 
   <td>6.906/150</td> 
   <td>546.67</td> 
  </tr> 
  <tr> 
   <td>Q3.2</td> 
   <td>130/100</td> 
   <td>5.330/600</td> 
   <td>546.67</td> 
  </tr> 
  <tr> 
   <td>Q3.3</td> 
   <td>96/24</td> 
   <td>3.666/24</td> 
   <td>546.67</td> 
  </tr> 
  <tr> 
   <td>Q3.4</td> 
   <td>65/2</td> 
   <td>0.058/4</td> 
   <td>7.76</td> 
  </tr> 
  <tr> 
   <td>Q4.1</td> 
   <td>304/35</td> 
   <td>10.110/35</td> 
   <td>600.04</td> 
  </tr> 
  <tr> 
   <td>Q4.2</td> 
   <td>519/100</td> 
   <td>1.928/100</td> 
   <td>144.42</td> 
  </tr> 
  <tr> 
   <td>Q4.3</td> 
   <td>67/772</td> 
   <td>1.373/800</td> 
   <td>144.42</td> 
  </tr> 
 </tbody> 
</table>

在ADB中没办法看到每次扫描了多少条数据，因此少了这项数据。

看起来性能还算可以，就是不知道如果数据量一样的话，结果又会如何。

这次的测试就先到这里吧，以后有机会再继续。

本次测试得到了DTS产品经理的帮助，感谢。

最后，说几个**槽点**吧。

**1. DTS任务出现了重复的作业ID**

按理说，这个任务ID应该是唯一的吧？

![format_png 5][]

在原来的那个任务上，停止任务后，多点几次"重新配置同步"，就会出现重复的ID了。

![format_png 6][]

**2. 无主键的表同步数据时，会自动删除重复数据**

创建测试表，插入3条测试数据，其中有2条是重复的。

# 创建一个没有主键的测试表
    [testabc]> CREATE TABLE t1 (
      id int(11) DEFAULT NULL,
      c1 varchar(20) DEFAULT NULL
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    [testabc]> insert into t1 select 1,'c1';
    [testabc]> insert into t1 select 2,'c2';
    [testabc]> insert into t1 select 2,'c2'; -- 重复数据
    [testabc]> select * from t1;
    +------+------+
    | id   | c1   |
    +------+------+
    |    1 | c1   |
    |    2 | c2   |
    |    2 | c2   | -- 重复数据
    +------+------+

配置DTS同步任务，选择id列作为主键。

![format_png 7][]

DTS任务报告共有3条数据，同步时没任何重复(冲突)的报错(提醒)。

![format_png 8][]

但是在ADB库，则只能查到两条数据。

![format_png 9][]

记得RDS有个特性就是可以帮客户自动隐式创建内置主键（如果用户表没显式定义主键的话），这时候就应该用于DTS呀，白瞎了这功能。

**3. 删数据太慢**测试删除500万数据，期间几次观测计算，每秒删除数据量约 2673 条。跑了几百秒之后，删了200万数据，忍不住了，终止删除任务。

**4. 看似简单的SQL语法也不支持**

有几个测试SQL中，有用到AS别名列语法，但发现并不支持，例如下面这个：

SELECT
        sum(LO_REVENUE),
        Year(LO_ORDERDATE) AS year,
        P_BRAND
    FROM lineorder_flat
    WHERE P_BRAND >= 'MFGR#2221' AND P_BRAND <= 'MFGR#2228' AND S_REGION = 'ASIA'
    GROUP BY
        year,
        P_BRAND
    ORDER BY
        year,
        P_BRAND;

运行时并不会报错，但下面这个SQL就会报错了

SELECT
        C_CITY,
        S_CITY,
        Year(LO_ORDERDATE) AS year,
        sum(LO_REVENUE) AS revenue
    FROM lineorder_flat
    WHERE (C_CITY = 'UNITED KI1' OR C_CITY = 'UNITED KI5') AND (S_CITY = 'UNITED KI1' OR S_CITY = 'UNITED KI5')
    GROUP BY
        C_CITY,
        S_CITY,
        year
    ORDER BY
        year ASC,
        revenue DESC;

报错内容见下

失败原因：[20038, 2020040418065317201906308103453830416] : line 0:1: Column 'year' cannot be resolved

看起来**在WHERE条件中，不能用到别名列，但在GROUP BY和ORDER BY可以**，略诡异。

**5. 基本功能异常**

在ADB的集群信息，点"管理DTS任务"链接，新打开页面异常。

![format_png 10][]

![format_png 11][]

或者，在日常刷新页面时，弹出这个提醒

![format_png 12][]

全文完。

--------------------

由叶老师主讲的知数堂「MySQL优化课」第17期已发车，课程从第15期就升级成MySQL 8.0版本了，现在上车刚刚好，扫码开启MySQL 8.0的修行之旅吧。

![format_png 13][]

--------------------

另外，叶老师在腾讯课堂的短课程《**MySQL性能优化**》已开课，本课程讲解读几个MySQL性能优化的核心要素：**合理利用索引，降低锁影响，提高事务并发度**。

下面是报名小程序码

![format_png 14][]

**晴澜茶坊**

**主营安溪****铁观音、闽南乌龙，做人人喝得起的好茶。**

**点击小程序选购**

**满1斤送还优质羊脂玉瓷茶具+茶巾**

点“在看”给我一朵小黄花![format_png 15][]

![format_png 16][]

[format_png]: /images/20230528/d003c5b8e97942b5861cfbf777cfe95c.png
[format_png 1]: /images/20230528/87e4cc21da2f4a62b3c8ad61df73e5b5.png
[format_png 2]: /images/20230528/f1a3f7770d1f4d5f8dc1e403867f7db0.png
[format_png 3]: /images/20230528/503418e838e043faaffad7231de4bae1.png
[format_png 4]: /images/20230528/824a3b802c344176b5e12c46f00cc2d2.png
[format_png 5]: /images/20230528/cdc720b9b2244db9bb4c9f1b34941a04.png
[format_png 6]: /images/20230528/a2839b5557ed4206adb6ca89ec92bc40.png
[format_png 7]: /images/20230528/029eeda15d314f41825a33881af4f632.png
[format_png 8]: /images/20230528/b4419acb5471430fa006c7746a89fff8.png
[format_png 9]: /images/20230528/69c02090e4eb48d2bf28da76ac0862dd.png
[format_png 10]: /images/20230528/563a5aac6bc74404b46a3a787b19accd.png
[format_png 11]: /images/20230528/57f4dd9be09f48dba093d2091f223b40.png
[format_png 12]: /images/20230528/f885e75aedf24f8bab6a4a5835776709.png
[format_png 13]: /images/20230528/8b73e0ad602b4d599fe87976369e1be9.png
[format_png 14]: /images/20230528/b73f67330e654338a87b0edfae925c96.png
[format_png 15]: /images/20230528/522d859731124ab6ae7c5b2ca6212e9a.png
[format_png 16]: /images/20230528/c61740a00e4048e4a1c3441c8d53e28e.png