Trino开荒

梦里梦外; 2022-09-17 03:00 320阅读 0赞

# 一. 概述 #

## 1.1 Trino历史 ##

Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。在以前，Facebook的科学家和分析师一直依靠Hive来做数据分析。但Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。Facebook也调研了其他比Hive更快的工具，但它们要么在功能有所限制要么就太简单，以至于无法操作Facebook庞大的数据仓库。  
2012年开始试用的一些外部项目都不合适，他们决定自己开发，这就是Presto。2012年秋季开始开发，目前该项目已经在超过 1000名Facebook雇员中使用，运行超过30000个查询，每日数据在1PB级别。Facebook称Presto的性能比Hive要好上10倍多。2013年Facebook正式宣布开源Presto。

[rebranding PrestoSQL as Trino][]原名PrestoSQL，FB开发的用来和Hive配合的及席查询引擎(竞品：Impala 、Kylin、SparkSQL)，随后开源，FB公司对Presto有很强的控制欲，想要控制它的下一步发展方向，甚至空降项目经理，Presto创世人及其团队集体离职，从此Presto分为PrestoSQL(创始人) & PrestoDB(FB控制)，随后 Presto被fb注册商标™️了，PrestoSQL无奈只能改为Trino（Dec 27, 2020）  
Trino改名至今九个月，社区活跃度有赶超Presto之势 , 并且集齐了绝大多数原Presto人员

## 1.2 文档对比 ##

从Trino & Presto文档对比来看，也是基本上…  
甚至有些讲解就是直接把Presto替换为Trino，  
甚至的甚至，图片中的Presto都没来得及换过来  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70_id_THK9B_originHeight_1023_originWidth_1211_originalType_binary_ratio_1_status_done_style_shadow][]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16]

Trino要比Presto更活跃一点。两个社区各自都做了一些重大的更新，同时我们也看到两个社区也不是完全隔离的，一个社区作出了一个号的好的改进另外一个社区会及时的吸收过去，比如Trino对S3的读取速度进行了优化，Presto也Cherry Pick过去了，目前两者都在做Pushdown ，pushdown也是未来的发展方向

# 二. 架构 #

## 2.1 Server types ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16 1]

###  ###

1.  查询请求从CLI 提交到Coordinator
2.  Coordinator解析查询计划 ，然后分发给Worker执行
3.  Worker通过Connector链接数据源，获取到数据 并 对数据进行加工
4.  一个Catelog表示一个数据源，包含 Schema 、Connector
5.  Schema类似于 库的概念，Table类似于表
6.  Connector类似JDBC，和各种数据源之间建立统一的适配器

coordinator & worker 进程常驻，设计初衷就不是为批量数据处理设计的 容易OOM

## 2.2 Query explain ##

Coordinate 解析…

SELECT  count(company_id)
            ,status																					---------Fra0
    FROM apaylater_th.atome_afterpay_merchant.company				---------Fra3
    where company_id in (																		---------Fra2
        select id from 
      	apaylater_th.atome_afterpay_merchant.merchant_brand ---------Fra5
      	where name = 'Atome Test')													---------Fra4
    group by status;																				---------Fra1

### 2.2.1 划分任务 ###

###  ###

一个查询按照 from(TableScan) 、limit 、join 、 Agg 、Output 划分成不同的 Fragment  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16 2]

### 2.2.2 Worker间基于内存流转 ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16 3]

# 三. SQL使用优化 #

## **3.1 只选择使用的字段** ##

由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用\*读取所有字段

## **3.2 过滤条件必须加上分区字段** ##

分区表减少磁盘的扫描，Trino能够更快的获取数据

## **3.3 合理使用Union** ##

尽量在数据源union完后在让Trino处理

避免在同一个数据源中使用Union 操作，比如一个MySQL中两张表，直接在Trino 中union的话会导致数据必须全部加载到内存，可以采用先在MySQL中union好 ,创建View，再使用Trino查询View，这样Trino会分批加载数据

## **3.4 Order by合理使用** ##

牵扯到全局排序的，数据需要发送到一个worker处理

## **3.5 Pushdown** ##

[Trino官方关于Pushdown的说明][Trino_Pushdown]

Fragment 0 [SINGLE] -- output
    
    Fragment 1 [SOURCE] -- tableScan

# 四. SQL差异化 #

## 4.1 关键字区分 ##

Trino 保留关键字  
[https://trino.io/docs/current/language/reserved.html][https_trino.io_docs_current_language_reserved.html]

--order 为Trino关键字，Trino用""区分关键字
    from dp.atome_sg_apaylater_mysql_atome_afterpay_core."order" AS o
    
    "level"

## 4.2 时间操作 ##

date timestamp等都需要声明类型

[Trino date&time 类型][Trino date_time]

DATE ‘2001-08-22’  
TIME ‘01:02:03.456’  
TIMESTAMP ‘2020-06-10 15:55:23’

/*SparkSQL的写法*/
    SELECT t FROM a WHERE t > “2021-01-01 00:00:00”
    
    /*Presto中的写法*/
    SELECT t FROM a WHERE t > timestamp '2021-01-01 00:00:00'

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16 4]

### Time Zone ###

The AT TIME ZONE operator sets the time zone of a timestamp:

SELECT timestamp '2012-10-31 01:00 UTC'; -- 默认是UTC
    -- 2012-10-31 01:00:00.000 UTC
    
    SELECT timestamp '2012-10-31 01:00 UTC' AT TIME ZONE 'America/Los_Angeles';
    -- 2012-10-30 18:00:00.000 America/Los_Angeles

*p : timestamp 的秒的时间精度*  
**current\_timestamp(***p***)**  
**localtimestamp**(*p*)

SELECT current_timestamp(6);
    -- 2020-06-24 08:25:31.759993 America/Los_Angeles

### date\_add ###

**date\_add(***unit*, *value*, *timestamp***)** → \[same as input\]  
Adds an interval value of type unit to timestamp. Subtraction can be performed by using a negative value:

SELECT date_add('second', 86, TIMESTAMP '2020-03-01 00:00:00');
    -- 2020-03-01 00:01:26.000
    
    SELECT date_add('hour', 9, TIMESTAMP '2020-03-01 00:00:00');
    -- 2020-03-01 09:00:00.000
    
    SELECT date_add('day', -1, TIMESTAMP '2020-03-01 00:00:00 UTC');
    -- 2020-02-29 00:00:00.000 UTC
    
    SELECT date_add('day', -1, date '2020-03-01');
    -- 2020-02-29

### date\_diff ###

**date\_diff(***unit*, *timestamp1*, *timestamp2***)** → bigint[\#][Link 1]  
Returns timestamp2 - timestamp1 expressed in terms of unit:

SELECT date_diff('second', TIMESTAMP '2020-03-01 00:00:00', TIMESTAMP '2020-03-02 00:00:00');
    -- 86400
    
    SELECT date_diff('hour', TIMESTAMP '2020-03-01 00:00:00 UTC', TIMESTAMP '2020-03-02 00:00:00 UTC');
    -- 24
    
    SELECT date_diff('day', DATE '2020-03-01', DATE '2020-03-02');
    -- 1
    
    SELECT date_diff('second', TIMESTAMP '2020-06-01 12:30:45.000000000', TIMESTAMP '2020-06-02 12:30:45.123456789');
    -- 86400
    
    SELECT date_diff('millisecond', TIMESTAMP '2020-06-01 12:30:45.000000000', TIMESTAMP '2020-06-02 12:30:45.123456789');
    -- 86400123

[https://trino.io/docs/current/functions/datetime.html][https_trino.io_docs_current_functions_datetime.html]

## 4.3 Trino where 过滤 ##

‘’ ‘’ 会被认为是区分关键字，过滤用’ ’

select id from 
      	apaylater_th.atome_afterpay_merchant.merchant_brand
    --where name = "Atome Test"     Column 'atome test' cannot be resolved
    where name = 'Atome Test'

## 4.4 OLAP不建议使用update insert ##

分析型处理引擎，对于update insert处理会很慢，虽然现在已经支持了，但还是不建议直接使用

## 4.5 date 在 Trino & Tableau之间 ##

首先Trino 在时间比较的时候必须指定格式  
这里的<Parameters.Select Date String> 必须是String类型的

AND o.create_time 
    between date <Parameters.Select Date String> 
    and (date <Parameters.Select Date String> + interval '1' day)

[List of functions][]

#  #

参考文献：

*  Trino官方文档 [https://trino.io/docs/current/index.html][https_trino.io_docs_current_index.html]
 *  PrestoDB和PrestoSQL比较及选择 [https://zhuanlan.zhihu.com/p/87621360][https_zhuanlan.zhihu.com_p_87621360]
 *  Presto实现原理和美团的使用实践 [https://tech.meituan.com/2014/06/16/presto.html][https_tech.meituan.com_2014_06_16_presto.html]

[rebranding PrestoSQL as Trino]: https://trino.io/blog/2020/12/27/announcing-trino.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70_id_THK9B_originHeight_1023_originWidth_1211_originalType_binary_ratio_1_status_done_style_shadow]: /images/20220828/6b475c7997b047c8bc48b7918a58ef2e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/a06fe883d3f845b8a97e2f4edd73a302.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/2f799bc51e024a5dbaffdd8cda1baa93.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/2d4d6a92c152481cb10950f5027a11e3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/651c6bd7caa8438ebdcecdea94c011e9.png
[Trino_Pushdown]: https://trino.io/docs/current/optimizer/pushdown.html#join-pushdown
[https_trino.io_docs_current_language_reserved.html]: https://trino.io/docs/current/language/reserved.html
[Trino date_time]: https://trino.io/docs/current/language/types.html#date-and-time
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb2lmZW5nbw_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/bc4c2fe73c65421ba694fa6e5f2dc7df.png
[Link 1]: https://trino.io/docs/current/functions/datetime.html#date_diff
[https_trino.io_docs_current_functions_datetime.html]: https://trino.io/docs/current/functions/datetime.html
[List of functions]: https://trino.io/docs/current/functions/list-by-topic.html
[https_trino.io_docs_current_index.html]: https://trino.io/docs/current/index.html
[https_zhuanlan.zhihu.com_p_87621360]: https://zhuanlan.zhihu.com/p/87621360
[https_tech.meituan.com_2014_06_16_presto.html]: https://tech.meituan.com/2014/06/16/presto.html