kyuubi的优化参数（全）

短命女 2024-03-17 22:31 42阅读 0赞

### kyuubi的优化参数（全） ###

kyubi.dynamic.resource: 设置为 true，启用动态资源调整功能。这将允许 Kyuubi 根据当前负载和资源可用性自动调整任务的资源分配。

kyubi.server.endpoint: 设置为 Kyuubi 服务器的地址和端口号，以便 Hue 可以连接到 Kyuubi 服务器。

kyubi.server.heartbeat.interval: 设置 Kyuubi 服务器的心跳间隔时间，以毫秒为单位。较短的间隔可实现更快的故障检测和故障转移。

kyubi.server.session.idle.timeout: 设置会话的空闲超时时间，以毫秒为单位。当会话在指定的时间内没有活动时，将自动关闭。

kyubi.llap.max.executors: 如果你的集群中使用了 LLAP（低延迟分析处理）服务，可以设置此参数来指定 Kyuubi 可以使用的 LLAP 执行器的最大数量。

kyubi.session.auto.spill.threshold: 设置当内存使用达到一定阈值时，Kyubi 是否自动启用溢写磁盘的功能。较低的阈值可以有效减少内存压力，但可能会影响查询性能。

以下是一些可以用于优化 Kyuubi 的常见参数：

kyubi.server.maxConcurrency: 设置 Kyuubi 服务器允许的最大并发连接数。根据你的硬件资源和负载情况，适当调整此参数以平衡并发连接和性能。

kyubi.server.thrift.max.worker.threads: 设置 Kyuubi 服务器 Thrift 服务使用的最大工作线程数。适当调整此参数以提高并发请求的处理能力。

kyubi.server.heartbeat.interval: 设置 Kyuubi 服务器与客户端之间的心跳间隔时间。较短的间隔可实现更快的故障检测和故障转移。

kyubi.server.session.idle.timeout: 设置会话的空闲超时时间。当会话在指定的时间内没有活动时，将自动关闭。

kyubi.server.task.commit.threads: 设置 Kyuubi 服务器任务提交线程的数量。适当增加此参数的值可以提高任务提交的并发性能。

kyubi.server.task.execute.threads: 设置 Kyuubi 服务器任务执行线程的数量。适当增加此参数的值可以提高任务执行的并发性能。

kyubi.server.task.result.cache.enable: 启用 Kyuubi 服务器任务结果的缓存，以加速重复查询的执行。请确保适当分配足够的内存来存储结果缓存。

kyubi.sql.legacy.engine.threshold: 设置可以使用 Legacy Engine 运行的查询的大小阈值。对于较小的查询，可以选择 Legacy Engine，以减少启动额外 Engine 的开销。

这些参数可通过编辑 Kyuubi 的配置文件（例如 kyuubi.conf）进行设置，具体文件路径和参数名称可能会因 Kyuubi 的版本而有所不同。确保在修改任何配置参数之前，先备份相关的配置文件并重启 Kyuubi 服务。

kyubi.server.max-connections：此参数用于配置 Kyuubi 服务器允许的最大连接数。你可以根据你的负载和资源情况调整该值，以平衡并发连接和资源消耗。

kyubi.server.max-threads：用于配置处理请求的最大线程数。适当调整此参数可以提高并发处理能力，但要注意不要设置过高，以避免资源竞争和性能下降。

kyubi.server.max-execution-mem-bytes：此参数配置每个查询的最大执行内存。你可以根据集群的可用内存和查询需求进行调整，以避免内存不足或过度分配的问题。

kyubi.server.fetch-result-page-size：用于设置每个分页获取结果的记录数。适当调整此参数可以平衡网络传输的开销和查询的实时响应性。

kyubi.server.result-set-buffer-size：此参数设置结果集缓冲区的大小。你可以根据查询数据量的大小和可用内存进行调整，以优化数据的读取性能。

kyubi.server.query.max-execution-time：用于设置查询的最大执行时间阈值。超过此阈值的查询将被取消执行，以防止长时间运行的查询占用资源和导致超时。

kyubi.server.enable-hive-authz：启用此参数可以使用 Hive 的权限控制机制对查询进行授权管理。

kyubi.server.maxTotal: 设置 Kyuubi 服务器的最大连接数。增加该值可以支持更多的并发连接，默认值为 100。

kyubi.server.connectionTimeout: 设置 Kyuubi 服务器的连接超时时间，以毫秒为单位。如果连接在指定时间内未建立，则连接会被中断，默认值为 30000。

kyubi.session.concurrentMax: 设置每个用户并发运行的最大会话数。可以根据集群资源和负载情况调整该值，默认为 100。

kyubi.session.openSessionTimeout: 设置会话的打开超时时间，以毫秒为单位。如果在指定时间内未打开会话，则会话请求将超时，默认为 60000。

kyubi.session.queryTimeout: 设置查询的超时时间，以秒为单位。如果查询在指定时间内未完成，则会被取消，默认为 0，表示无超时限制。

kyubi.session.autoClearInterval: 设置自动清理会话的间隔时间，以秒为单位。该选项启用会话的自动清理功能，默认为 0，表示禁用。

kyubi.server.binaryTransfer: 设置是否启用二进制传输模式。启用此模式可以提高数据传输的效率，默认为 false。

kyubi.session.enableHiveDynamicPartitionPruning: 启用 Hive 动态分区修剪功能。开启该选项可以在执行查询时根据分区的元数据选择适当的分区进行优化，默认为 true。

Kyuubi是一个开源的Spark SQL远程JDBC服务器，它提供了一些可用于优化性能和调整行为的参数。以下是一些常见的Kyuubi优化参数：

kyuubi.server.max.connections：设置Kyuubi服务器允许的最大连接数。通过增加此参数的值，可以支持更多的并发连接。默认值为100，根据需求进行调整。

kyuubi.server.backlog：设置Kyuubi服务器监听连接的请求队列的最大长度。较大的值可以支持更多的并发连接请求。默认值为1024。

kyuubi.server.session.check.interval：设置Kyuubi服务器检查空闲会话的时间间隔。较短的间隔可以更及时地释放空闲会话和资源。默认值为60000毫秒。

kyuubi.session.conf.sync.interval：设置Kyuubi会话配置参数同步的时间间隔。较短的间隔可以更及时地应用配置变化。默认值为60000毫秒。

kyuubi.statement.max.result.size：设置Kyuubi每个查询结果返回的最大行数。通过限制结果集的大小，可以减少网络传输的数据量。默认值为-1，表示不做限制。

kyuubi.operation.heartbeat.interval：设置Kyuubi与客户端之间的心跳间隔时间。较短的间隔可以更及时地检测客户端的连接状态。默认值为1000毫秒

kyubi.server.session.idle.timeout: 设置会话的空闲超时时间，以毫秒为单位。当会话在指定的时间内没有活动时，将自动关闭

发表评论取消回复

表情：

评论列表（有 0 条评论，42人围观）

还没有评论，来说两句吧...

相关阅读

相关 kyuubi的优化参数（全）

kyuubi的优化参数（全） kyubi.dynamic.resource: 设置为 true，启用动态资源调整功能。这将允许 Kyuubi 根据当前负载和资源可用性自动

短命女/ 2024年03月17日 22:31/ 0 赞/ 43 阅读

相关 Kyuubi的介绍优势（官网链接）

官网链接：https://kyuubi.apache.org/ Apache Kyuubi™ 是一个分布式多租户网关，用于在数据仓库和 Lakehouse 上提供无服务器 S

女爷i/ 2024年03月17日 22:13/ 0 赞/ 73 阅读

相关 dolphinscheduler的优化参数的优化

dolphinscheduler的优化参数的优化 DolphinScheduler 是一个分布式的、易用的大数据工作流任务调度系统，提供了很多优化参数来调整其性能和运行行

怼烎@/ 2024年02月17日 11:29/ 0 赞/ 59 阅读

相关 MySql（参数）性能的优化

MySql查询写入贼慢? 在前几天，在测试中遇到了一个这样的问题。现象为：查询和写入都相当的慢。说出来可能都不信，慢到哪种地步呢？ select co

傷城~/ 2023年06月29日 10:55/ 0 赞/ 40 阅读

相关 Tomcat优化系列-JVM参数的优化

JVM内存模型 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG

绝地灬酷狼/ 2023年06月16日 04:59/ 0 赞/ 143 阅读

相关 Kyuubi介绍

Kyuubi 是对spark thrift server的加强版，它弥补了spark thrift server缺少的多租户，授权，负载均衡，高可用特性。 ![在这里插入图

╰半橙微兮°/ 2023年05月30日 06:13/ 0 赞/ 14 阅读

相关 Kyuubi 输出任务进度信息改造

文章目录一、Hive QueryLog的实现客户端方面服务端实现日志的读取日志的写入

Bertha 。/ 2023年03月02日 13:18/ 0 赞/ 13 阅读

相关 JVM参数的优化

JVM参数的优化适当调整Tomcat的运行JVM参数可以提升整体性能。 JVM内存模型 ![这里写图片描述][j1.png] ![这里写图片描述][j2.p

我会带着你远行/ 2022年06月12日 14:21/ 0 赞/ 251 阅读

相关 JVM参数优化

JVM参数的优化适当调整Tomcat的运行JVM参数可以提升整体性能。 JVM内存模型 Java栈 Java栈是与每一个线程关联的，JVM在创建每一个线程

浅浅的花香味﹌/ 2022年06月11日 22:54/ 0 赞/ 279 阅读

相关 php参数优化

1.引擎缓存加速优化 2.使用tmpfs作为缓存加速文件目录 3.php.ini参数调优 3.1打开安全模式 3.2关闭

缺乏、安全感/ 2022年05月17日 13:19/ 0 赞/ 154 阅读