Kylin (四) --------- Kylin 4.0 查询引擎

た入场券 2024-04-01 12:08 46阅读 0赞

#### 目录 ####

*  一、查询引擎 Sparder
 *  二、HDFS 存储目录
 *  三、Kylin4.0 查询参数汇总

--------------------

## 一、查询引擎 Sparder ##

Sparder (SparderContext) 是由 Spark application 后端实现的新型分布式查询引擎，它是作为一个 Long-running 的 Spark application 存在的。Sparder 会根据 kylin.query.spark-conf 开头的配置项中配置的 Spark 参数来获取 Yarn 资源，如果配置的资源参数过大，可能会影响构建任务甚至无法成功启动 Sparder，如果 Sparder 没有成功启动，则所有查询任务都会失败，因此请在 Kylin 的 WebUI 中检查 Sparder 状态，不过默认情况下，用于查询的 spark 参数会设置的比较小，在生产环境中，大家可以适当把这些参数调大一些，以提升查询性能。

kylin.query.auto-sparder-context-enabled-enabled 参数用于控制是否在启动 kylin 的同时启动Sparder，默认值为 false，即默认情况下会在执行第一条 SQL 的时候才启动 Sparder，因此 Kylin 的第一条 SQL 查询速度一般比较慢，因为包含了 Sparder 任务的启动时间。

![在这里插入图片描述][1bd94d94bad44816b97e3388e71c13e0.png]

## 二、HDFS 存储目录 ##

根目录：`/kylin/kylin_metadata`

![在这里插入图片描述][1b7042b849d548b89e815cc78d49a25b.png]  
子目录：

*  临时文件存储目录：`/project_name/job_tmp`
 *  Cuboid 文件存储目录： `/project_name /parquet/cube_name/segment_name_XXX`
 *  维度表快照存储目录：`/project_name /table_snapshot`
 *  Spark 运行日志目录：`/project_name/spark_logs`

![在这里插入图片描述][ef0acb650eed4edeae0a0ecf6096ba18.png]

## 三、Kylin4.0 查询参数汇总 ##

Kylin 查询参数全部以 kylin.query.spark-conf 开头，默认情况下，用于查询的 spark 参数会设置的比较小，在生产环境中，大家可以适当把这些参数调大一些，以提升查询性能。

####spark 运行模式####
    #kylin.query.spark-conf.spark.master=yarn
    ####spark driver 核心数####
    #kylin.query.spark-conf.spark.driver.cores=1
    ####spark driver 运行内存####
    #kylin.query.spark-conf.spark.driver.memory=4G
    ####spark driver 运行堆外内存####
    #kylin.query.spark-conf.spark.driver.memoryOverhead=1G
    ####spark executor 核心数####
    #kylin.query.spark-conf.spark.executor.cores=1
    ####spark executor 个数####
    #kylin.query.spark-conf.spark.executor.instances=1
    ####spark executor 运行内存####
    #kylin.query.spark-conf.spark.executor.memory=4G
    ####spark executor 运行堆外内存####
    #kylin.query.spark-conf.spark.executor.memoryOverhead=1G

[1bd94d94bad44816b97e3388e71c13e0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/eef50e41193348b3a69d92d279059d45.png
[1b7042b849d548b89e815cc78d49a25b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/7a7d7ccd4c7445f39f644f9bae411566.png
[ef0acb650eed4edeae0a0ecf6096ba18.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/7fb0e90be5b44c038fb3effb51891c67.png