ideal上连接hive集群配置要注意的问题

Dear 丶 2023-03-01 12:23 5阅读 0赞

# 1.导入响应的依赖 #

\#\#\#pom.xml文件对应一下配置，一定要注意spark系列版本要一致，否则导入了包，依然说找不到

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-graphx_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

\#\#\#传入集群上的配置文件  
![在这里插入图片描述][20200725113512468.png]  
\#\#\#scala中代码中要加入hive支持

val spark: SparkSession = SparkSession.builder()
          .appName(this.getClass.getSimpleName)
          .master("local")
          .enableHiveSupport().getOrCreate()

[20200725113512468.png]: /images/20230208/ebccbaa369fc462fbf893a2d9fcc0e1d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，5人围观）

还没有评论，来说两句吧...

相关阅读

相关 ideal上连接hive集群配置要注意的问题

1.导入响应的依赖 \\\pom.xml文件对应一下配置，一定要注意spark系列版本要一致，否则导入了包，依然说找不到 <dependency>

Dear 丶/ 2023年03月01日 12:23/ 0 赞/ 6 阅读

相关命令行连接redis集群注意事项

示例: ./redis-cli \-c \-h 192.168.168.161 -p 7001 参数c为开启redis cluster模式,连接redis clust

清疚/ 2022年12月01日 05:14/ 0 赞/ 272 阅读

相关 Hadoop集群搭建及配置⑨——Hive 可靠的安装配置，远程连接MySQL

Hive安装一、安装配置Hive 1.1 解压hive 1.2 配置环境变量（master 和 slave1）

红太狼/ 2022年11月18日 13:41/ 0 赞/ 490 阅读

相关 java连接hbase集群_HBase伪集群配置

与Hadoop一样，HBase也有三种运行模式：Standalone, Distributed, Pseudo-distributed。其中，Pseudo-distribu

末蓝、/ 2022年11月08日 06:12/ 0 赞/ 228 阅读

相关配置hadoop集群时要注意的问题

在配置hadoop集群时，以下问题一定要注意，否则会出现各种莫名其妙的问题： 1. 同步各个hadoop服务器的系统时间，否则在执行mapreduce任务时，会一直不执行或

你的名字/ 2022年08月12日 00:29/ 0 赞/ 149 阅读

相关在hadoop集群上安装hive和mysql

一.hive使用前提 hive的运行要在hadoop集群上。Hive支持MapReduce/Spark/Tez等多种计算引擎。这里以MapReduce为例。hi

ゞ浴缸里的玫瑰/ 2022年06月12日 12:55/ 0 赞/ 369 阅读

相关 hadoop分布式集群hive-mysql的安装配置

Hive的安装前言已经安装hadoop，并且可以成功运行。 MySQL的安装下载安装mysql不仅仅是安装mysql的客户端，还要安装mysq

迈不过友情╰/ 2022年06月10日 07:53/ 0 赞/ 217 阅读

相关配置hadoop集群时要注意的问题

在配置hadoop集群时，以下问题一定要注意，否则会出现各种莫名其妙的问题： 1. 同步各个hadoop服务器的系统时间，否则在执行mapreduce任务时，会一直不执行或

逃离我推掉我的手/ 2022年04月12日 02:44/ 0 赞/ 188 阅读

相关 Hadoop集群搭建（八：Hive的安装配置）

<table style="width:654px;"> <tbody> <tr> <td style="width:54.6pt;"> <p style="

以你之姓@/ 2022年01月28日 09:51/ 0 赞/ 285 阅读

相关 hive集群部署

Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL

傷城~/ 2021年06月24日 14:37/ 0 赞/ 545 阅读