13.4、Flink Table API & SQL - Hive 之在scala shell中使用Hive连接器

我会带着你远行 2024-04-17 06:06 79阅读 0赞

Flink Scala Shell是尝试Flink的一种方便快捷的方法。您也可以在scala shell中使用hive，而不是在pom文件中指定hive依赖项，而是打包您的程序并通过flink run命令提交它。为了在scala shell中使用hive连接器，您需要将以下hive连接器依赖项放在flink dist的lib文件夹下。

*  flink-connector-hive\_\{scala\_version\}-\{flink.version\}.jar
 *  flink-hadoop-compatibility\_\{scala\_version\}-\{flink.version\}.jar
 *  flink-shaded-hadoop-2-uber-\{hadoop.version\}-\{flink-shaded.version\}.jar
 *  hive-exec-2.x.jar (for Hive 1.x, you need to copy hive-exec-1.x.jar, hive-metastore-1.x.jar, libfb303-0.9.2.jar and libthrift-0.9.2.jar)

版本信息详见：[Flink Table API & SQL - Hive之hive概览][Flink Table API _ SQL - Hive_hive]

Flink 与 Scala 的交互方式详见：[Flink部署和操作 之 Scala解释器][Flink_ _ Scala]

然后你可以在scala shell中使用hive连接器，如下所示：

Scala-Flink> import org.apache.flink.table.catalog.hive.HiveCatalog
    Scala-Flink> val hiveCatalog = new HiveCatalog("hive", "default", "<Replace it with HIVE_CONF_DIR>", "2.3.4");
    Scala-Flink> btenv.registerCatalog("hive", hiveCatalog)
    Scala-Flink> btenv.useCatalog("hive")
    Scala-Flink> btenv.listTables
    Scala-Flink> btenv.sqlQuery("<sql query>").toDataSet[Row].print()

[Flink Table API _ SQL - Hive_hive]: https://blog.csdn.net/zpf_940810653842/article/details/100065614
[Flink_ _ Scala]: https://blog.csdn.net/zpf_940810653842/article/details/100076005

发表评论取消回复

表情：

评论列表（有 0 条评论，79人围观）

还没有评论，来说两句吧...

相关阅读

相关 5.5、Flink Table API & SQL - 连接外部系统之 Kafka Connector（Kafka连接器）

Kafka连接器允许从Apache Kafka主题读写内容。它可以定义为： **JAVA / SCALA** .connect( new Ka...

朴灿烈づ我的快乐病毒、/ 2024年04月17日 06:28/ 0 赞/ 65 阅读

相关 13.4、Flink Table API & SQL - Hive 之在scala shell中使用Hive连接器

link Scala Shell是尝试Flink的一种方便快捷的方法。您也可以在scala shell中使用hive，而不是在pom文件中指定hive依赖项，而是打包您的...

我会带着你远行/ 2024年04月17日 06:06/ 0 赞/ 80 阅读

相关 13.3、Flink Table API & SQL - Hive 之 Hive函数

用户自定义函数用户可以在Flink中使用他们现有的Hive用户定义函数。支持的UDF函数包括以下： * UDF * GenericUDF * Ge...

我就是我/ 2024年04月17日 06:06/ 0 赞/ 70 阅读

相关 13.2、Flink Table API & SQL - Hive 之读写Hive表

用HiveCatalog和Flink到Hive的连接器，Flink可以读写Hive数据，作为Hive批处理引擎的替代。一定要按照说明在应用程序中包含正确的依赖项（见[Fl...

川长思鸟来/ 2024年04月17日 06:01/ 0 赞/ 83 阅读

相关 13.1、Flink Table API & SQL - Hive之hive概览

pache Hive已经成为数据仓库生态系统的焦点。它不仅是一个用于大数据分析和ETL的SQL引擎，也是一个数据管理平台，在这里数据被发现、定义和发展。 Flink提供...

痛定思痛。/ 2024年04月17日 06:00/ 0 赞/ 70 阅读

相关 Flink连接kerberos认证的hive 并使用table API

有个问题flink的kerveros通过配置设置。但是HiveCatalog还需要再次使用UserGroupInformation再次认证。直接上代码： imp

蔚落/ 2024年03月23日 19:23/ 0 赞/ 105 阅读

相关 Flink之Table API与SQL（二）

目录（1）创建表的两种方式（2）DataStream、DataSet与Table的转换（2.1）通过 DataSet

Dear 丶/ 2022年11月16日 13:41/ 0 赞/ 175 阅读

相关 Flink之Table API与SQL（一）

目录（1）Table API与SQL概念（2）Table 程序依赖（3）两种计划器（Planner）的主要区别

拼搏现实的明天。/ 2022年11月16日 01:45/ 0 赞/ 189 阅读

相关 Spark SQL Hive Tables

Spark SQL also supports reading and writing data stored in [Apache Hive][]. However, sin

蔚落/ 2022年06月13日 05:25/ 0 赞/ 245 阅读

相关 Flink Table API 和 SQL之概述

Flink针对标准的流处理和批处理提供了两种相关的API，Table API和sql。TableAPI允许用户以一种很直观的方式进行select 、filter和join操作。

矫情吗；*/ 2022年04月14日 02:50/ 0 赞/ 228 阅读