presto内存配置以及调优(防止OOM等操作)

比眉伴天荒 2023-02-22 08:19 31阅读 0赞

> 参考文档  
> https://prestodb.io/blog/2019/08/19/memory-tracking  
> http://armsword.com/2019/11/13/the-configuration-settings-of-presto-memory-management/\#more （大佬博客，受益匪浅）

# 前言 #

良好的掌握内存配置有利于对于presto进行更好的配置和调优

# Presto的内存池 #

在Presto引擎中，有两种类型的内存分配:user和system。User memory是和输入的数据强相关的。（例如，聚合的内存使用与其成正比）。system memory 是执行的副产品（比如表扫描和写入缓冲区），并且不一定与查询输入聚合等操作有很强的相关性。

内存的分配直接来自于presto的worker的memory pools。 memory pools由2个pools组成 General Pool和Reserved Pool，如图所示  
![image.png][]

General Pool：General Pool提供User memory和system memory的分配在正常模式下。  
Reserved Pool : 当有一个worker的General Pool 内存耗尽，reserved pool将会发挥作用。这个时候coordinator 将会选出集群出消耗内存最大的查询，并将该查询分配给所有worker的reserved pool。

Reserved Pool的值等于query.max-total-memory-per-node的大小。 query.max-total-memory-per-node是单个节点User memory 和system memory占用的最大值。  
而且Reserved Pool是启动时系统预留的，一起动就会占用,所以现在有一个问题，在实际中的情况来讲，我们会极少使用到Reserved Pool，而且它还占用了很多的内存资源。  
所以我们可以通过配置参数

> experimental.reserved-pool-enabled=false

来禁用Reserved Pool。如图所示  
![image.png][image.png 1]

内存池的查看的URL为 discovery.uri/ui/worker.html?node.id （presto的etc配置中的），这样我们就可以方便的查看每个worker的内存相关情况了

# presto内存相关的参数 #

> 参考资料  
> https://prestodb.io/docs/current/admin/properties.html

> query.max-memory-per-node

在单个worker上面可以使用的最大的user memory值 （默认JVM max memory \* 0.1）

> query.max-total-memory-per-node

在单个worker上面可以使用的最大的user memory + system memory （默认JVM max memory \* 0.3）

> query.max-memory

查询在整个集群的user memory最大使用量 (默认20G)

> query.max-total-memory

查询在整个集群的user memory+system memory最大使用量 （默认query.max-memory \* 2）

> memory.heap-headroom-per-node

这个目前不太理解

> query.low-memory-killer.policy

这个配置决定了当集群内存不足时的终止策略。有三个参数none，total-reservation，total-reservation-on-blocked-nodes （后两个参数的区别以后懂了再讲）

# 具体配置 #

具体配置在presto安装目录/etc/config.properties里面配置,我这边借鉴了这篇文章的配置http://armsword.com/2019/11/13/the-configuration-settings-of-presto-memory-management/\#more  
,我直接贴出他的回答(假设JVM XMX 为80G)

query.max-memory=120GB  # 默认为20GB，query.max-memory-per-node * 8 * 0.8 ，倾斜按照0.8算即可
    query.max-memory-per-node=20GB   # 默认值0.1 * XMX，一般线上按照0.25*XMX算，这个最好结合自己并发，如果并发大，大查询多，值最好小一点，稳定性考虑
    query.max-total-memory-per-node=32GB  # 默认值0.3*XMX，一般设置为0.4*XMX
    experimental.reserved-pool-enabled=false  # 不使用RESERVED_POOL
    memory.heap-headroom-per-node=16GB  # 默认0.3*XMX，一般使用的是0.2*XMX
    query.low-memory-killer.policy=total-reservation-on-blocked-nodes  # Kill策略，干掉Blocked的最大查询，GENERAL_POOL满了，防止OOM

[image.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNDcyNzkzNi04OGE5MTQzYWQzYTZkN2I1LnBuZw?x-oss-process=image/format,png
[image.png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNDcyNzkzNi1lZWRhMjc4ZGE4ZWI3ZjY1LnBuZw?x-oss-process=image/format,png