1.0 presto的安装与部署对接kafka，MySQL

傷城~ 2021-12-15 00:43 305阅读 0赞

Preston 官网：[http://prestodb.io/][http_prestodb.io]

## **一 安装环境** ##

JDK 版本：1.8

ps: 本测试将presto的coordinator和worker都部署在一个节点上。

## **二 安装Presto** ##

**2.1 下载presto(版本0.221)压缩包并解压**

下载地址：[https://prestodb.github.io/download.html][https_prestodb.github.io_download.html]

下载最新版本即可

tar -xf presto-server-0.221.tar.gz

进入plugin目录，查看支持的插件，：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70][]

**2.2 配置presto**

在安装目录下创建etc文件夹

![2019070410422311.png][]

在etc下创建：node.properties，jvm.config，log.properties，config.properties和catalog文件

![201907041044283.png][]

**2.2.1 配置node.properties**

node.environment=test

node.id=ffffffff-ffff-ffff-ffff-ffffffffffff

node.data-dir=/opt/local/presto-server-0.221/data

参数说明：

*  node.environment：环境名称。一个集群节点中的所有节点的名称应该保持一致。
 *  node.id：节点唯一标识的名称。
 *  node.data-dir：数据和日志存放路径

**2.2.2 配置jvm.config**

\-server

\-Xmx4G

\-XX:+UseConcMarkSweepGC

\-XX:+ExplicitGCInvokesConcurrent

\-XX:+AggressiveOpts

\-XX:+HeapDumpOnOutOfMemoryError

\-XX:OnOutOfMemoryError=kill -9 %p

**2.2.3 配置config.properties**

coordinator=true

node-scheduler.include-coordinator=true

http-server.http.port=8001

task.max-memory=1GB

discovery-server.enabled=true

discovery.uri=[http://10.0.18.12:8001][http_10.0.18.12_8001]

注意：新版本task.max-memory 改成query.max-memory

参数说明：

coordinator：Presto 实例是否以 coordinator 对外提供服务

node-scheduler.include-coordinator：是否允许在 coordinator 上进行调度任务

http-server.http.port：HTTP 服务的端口

task.max-memory=1GB：每一个任务（对应一个节点上的一个查询计划）所能使用的最大内存

discovery-server.enabled：是否使用 Discovery service 发现集群中的每一个节点。

discovery.uri：Discovery server 的 url

**2.2.4 配置log.properties**

com.facebook.presto=INFO

设置某一个 java 包的日志等级

**2.2.5 关于 Catalog 的配置（与kafka连接配置）**

首先在etc下面建立catalog文件夹，然后在catalog文件夹中新建kafka.properties文件，

catalog文件夹，该文件夹就相当于一个数据库实例,所有的数据库连接都放在该文件夹下

配置如下：

connector.name=kafka

kafka.table-names=table1,table2

kafka.nodes=web-3:9092,web-4:9092,web-5:9092

## **三 启动Presto** ##

进入presto安装目录bin下面，利用help命令可以查看launcher的详细用法

launcher --help

以后台方式启动presto

launcher start

一般启动方式，且输出并打印日志

launcher run

停止presto

launcher stop

## **四 测试Presto CLI** ##

下载Presto CLI

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.221/presto-cli-0.221-executable.jar

将mv presto-cli-0.221-executable.jar重命名为presto

mv presto-cli-0.221-executable.jar presto

将presto添加执行权限

chmod 777 presto

启动presto cli

./presto --server localhost:8001 --catalog kafka --schema default

执行show tables，如下

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 1][]

## **五 错误处理** ##

![20190704104827550.png][]

解决方案：检查presto是否启动，一般情况为presto没有启动

![20190704104901963.png][]

解决方案：在config.properties中设置node-scheduler.include-coordinator=true

![20190704104934622.png][]

解决方案：kafka.properties配置文件没有放在catalog文件夹中

## **六 对接MySQL** ##

首先在etc下面建立catalog文件夹，然后在catalog文件夹中新建mysql.properties文件，

这里的mysql.properties文件名可以取其他名字，比如：Mymysql.properties，但是properties尾缀一定要是这个。以后进行多数据源查询时，字段全名是：文件名.主题名.表名，比如：查表aa：Mymysql.datacube.aa

配置如下：

connector.name=mysql

connection-url=jdbc:mysql://10.0.18.13:3306

connection-user=root

connection-password=[HWW123\_yu@qing][HWW123_yu_qing]

配置解释：

connector.name：他是数据库连接池的名字，需要按固定要求填写，mysql就写mysql，这样PrestoDB内部会根据这个连接名匹配 相应数据库驱动。

connection-url:写的是数据源的url地址，注意不同的数据源，这个url是不一样的，如果不按照规则写将会导致启动PrestoDB失败，或者查询不到信息爆：Query failed (\#20190402\_122809\_00002\_c3a4r): Driver returned null connection之类的错误.mysql

数据库在写url时不写主题名，只写 jdbc:mysql://192.168.1.200:3306 就好，写了会报错。

connection-user：数据源的用户名

connection-password：数据源密码

启动presto cli

./presto --server localhost:8001 --catalog mysql --schema test

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 3][]

[http_prestodb.io]: http://prestodb.io/
[https_prestodb.github.io_download.html]: https://prestodb.github.io/download.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70]: /images/20211214/a01b74d0aa5a49a0941b54d1a162f71a.png
[2019070410422311.png]: /images/20211214/dc67e2faecf0451c94dfce31a9d84265.png
[201907041044283.png]: /images/20211214/5dd9757824b9469abbadae1016ed3698.png
[http_10.0.18.12_8001]: http://10.0.18.12:8001
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 1]: /images/20211214/5eef63103de44d97bec97d2b641e3357.png
[20190704104827550.png]: /images/20211214/f9895e007ac44a0c97a6102ea36951b3.png
[20190704104901963.png]: /images/20211214/c293ad8745d646fab32d58d1a80c4dcf.png
[20190704104934622.png]: /images/20211214/1aef9332a7f6401daf1d7b20cb073618.png
[HWW123_yu_qing]: mailto:HWW123_yu@qing
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 2]: /images/20211214/5818e0ed55064e8eb261627af20233b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 3]: /images/20211214/788deccfe22547eabd0e126303c88e20.png