presto的hive connector连接以及JDBC访问(包含kerberos方式)

迷南。 2023-02-21 14:26 25阅读 0赞

> 参考资料:https://prestodb.io/docs/current/connector/hive.html

# 前言 #

presto支持hive connector，并支持连接多个hive connector，还支持kerberos相关

# 配置 #

##### 普通配置 #####

我们在etc目录下创建catalog目录，然后再下面创建hive.propertoes 文件，代表着我们创建了一个hive的catalog，hive.propertoes的配置如下

> connector.name=hive-hadoop2  
> hive.metastore.uri=thrift://example.net:9083  
> hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

connector.name — 这个是固定的，只要是hive的connector名字就为hive-hadoop2  
然后再配置元数据服务的URL 和hadoop的core-site.xml 和 hdfs-site.xml到每一个presto节点

最后需要注意的是  
由于没有kerberos认证，我们登陆hive用的用户名将会是启动presto进程的用户。如过我们想修改此，我们可以在jvm.config中添加

> \-DHADOOP\_USER\_NAME=hadoop

来将访问hive的用户改为hadoop用户

##### kerberos配置 #####

kerberos相关的配置参考下面这篇文章  
https://prestodb.io/docs/current/connector/hive-security.html

其实相当于多了几个配置，对于hive的配置有了解基本上看了配置就懂得了相关的含义。

*  1、krb5.conf  
    如果krb5.conf在/etc目录下面，那么这个可以不需要配置，如果不在，那么需要在jvm.config中显示的配置如下所示

> \-Djava.security.krb5.conf=/example/path/krb5.conf

*  2、应对hive metatstore 相关的kerberos配置

hive.metastore.authentication.type=KERBEROS
    hive.metastore.service.principal=ms/_HOST@DEVTEST.BONC
    hive.metastore.client.principal=test001@DEVTEST.BONC
    hive.metastore.client.keytab=/opt/beh/metadata/key/test001.ketab

hive.metastore.service.principal ---- 这个是在hive-site.xml中配置的hive服务端的priciple。这里好的是，presto支持\_HOST这种形式，很方便

hive.metastore.client.principal=test001@DEVTEST.BONC  
hive.metastore.client.keytab=/opt/beh/metadata/key/test001.keytab  
这两个就是当前presto用户的kerberos 相关信息了

*  3、hdfs相关的kerberos验证

hive.hdfs.authentication.type=KERBEROS
    #hive.hdfs.impersonation.enabled=true
    hive.hdfs.presto.principal=test001@DEVTEST.BONC
    hive.hdfs.presto.keytab=/opt/beh/metadata/key/test001.keytab

hive.hdfs.impersonation.enabled=true ------------------这个配置我先注释了，具体还没有搞懂，因为我发现注释了他对于我后续测试和验证没有影响，这个后续再说吧。

hive.hdfs.presto.principal=test001@DEVTEST.BONC  
hive.hdfs.presto.keytab=/opt/beh/metadata/key/test001.keytab  
这两个就是当前presto用户的kerberos 相关信息了

最后说一句，keytab文件必须在每个节点分发，在相同的位置，而且有正确的权限。

最终我在hive.properties里面的配置如下

connector.name=hive-hadoop2
    hive.metastore.uri=thrift://hadooptd3.novalocal:9083
    hive.config.resources=/opt/beh/core/hadoop/etc/hadoop/hdfs-site.xml
    hive.metastore.authentication.type=KERBEROS
    hive.metastore.service.principal=ms/_HOST@DEVTEST.BONC
    hive.metastore.client.principal=test001@DEVTEST.BONC
    hive.metastore.client.keytab=/opt/beh/metadata/key/test001.ketab
    hive.hdfs.authentication.type=KERBEROS
    #hive.hdfs.impersonation.enabled=true
    hive.hdfs.presto.principal=test001@DEVTEST.BONC
    hive.hdfs.presto.keytab=/opt/beh/metadata/key/test001.ketab

# JDBC访问 #

##### 注意 #####

不管是普通的presto的hive connector还是kerberos的hive connector，我们使用cli 和jdbc的方式是一样的，jdbc访问的URL方式也是一样的(推测应该是kerberos已经在配置文件里面配置了，所以无需在jdbc方式使用)

##### JDBC方式 #####

pom配置

<dependency>
                <groupId>com.facebook.presto</groupId>
                <artifactId>presto-jdbc</artifactId>
                <version>0.237</version>
            </dependency>

没啥好说的 直接上样例代码吧  
参考文档:https://prestodb.io/docs/current/installation/jdbc.html

public class PrestoJdbc {
    
        private static String CONNECTION_URL = "jdbc:presto://****:16001/test001/test";
    
        public static void main(String[] args) throws SQLException{
    
            Connection connection = DriverManager.getConnection(CONNECTION_URL, "hadoop", "");
    
            ResultSet resultSet = connection.prepareStatement("select * from deoiuytdemo").executeQuery();
    
            while (resultSet.next()) {
                String str = resultSet.getString(1);
                System.out.println(str);
            }
    
            connection.close();
        }
    
    }

# 多租户方案探究 #

看官网说可以连接多个hive源，那么这么来说肯定也可以以不同的租户连接同一个hive源了。  
然后我在上述test001租户下，又创建了dev001.properties 相当于创建了一个dev001的catalog

connector.name=hive-hadoop2
    hive.metastore.uri=thrift://hadooptd3.novalocal:9083
    hive.config.resources=/opt/beh/core/hadoop/etc/hadoop/hdfs-site.xml
    hive.metastore.authentication.type=KERBEROS
    hive.metastore.service.principal=ms/_HOST@DEVTEST.BONC
    hive.metastore.client.principal=dev001@DEVTEST.BONC
    hive.metastore.client.keytab=/opt/beh/metadata/key/dev001.ketab
    hive.hdfs.authentication.type=KERBEROS
    #hive.hdfs.impersonation.enabled=true
    hive.hdfs.presto.principal=dev001@DEVTEST.BONC
    hive.hdfs.presto.keytab=/opt/beh/metadata/key/dev001.ketab

然后使用jdbc测试，也是没问题的，相当于用dev001 租户创建和访问表。  
那么这种情景就在后续提供了一种多租户方案，相当于不同的租户可以访问不同的database下的表(一般多租户方案就是一个租户对应一个hive database)，  
相对来说就很方便了很多。