spark sql: HiveContext操作hive表

小鱼儿 2024-04-17 05:34 77阅读 0赞

使用cdh搭建hadoop集群, 下载hive客户端配置文件

# 1,配置pom.xml #

<dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-core_2.10</artifactId>
         <version>1.5.0-cdh5.6.1</version>
     </dependency>
     <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-sql_2.10</artifactId>
         <version>1.5.0-cdh5.6.1</version>
     </dependency>
     <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-hive_2.10</artifactId>
         <version>1.5.0-cdh5.6.1</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-common</artifactId>
         <version>2.6.0-cdh5.6.1</version>
     </dependency>

# 2, HiveContext读取hive表数据 #

object testHiveContext {
      def main(args: Array[String]): Unit = {
        val conf = new SparkConf()
        conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
        conf.setAppName("spark-hive").setMaster("local[*]")
        val sc = new SparkContext(conf)
        sc.setLogLevel("ERROR")
        val hiveContext = new HiveContext(sc)
        
        //读取hive表
          hiveContext.sql("show databases").show(100)
          hiveContext.sql("show tables").show(100)
          hiveContext.sql("use db1")
          hiveContext.table("t1").show()
      }
    }

# 3,依赖报错：NoClassDefFoundError: org/apache/hadoop/mapred/MRVersion #

解决：导入依赖

<dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-common</artifactId>
         <version>2.6.0-cdh5.6.1</version>
     </dependency>

发表评论取消回复

表情：

评论列表（有 0 条评论，77人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark sql: HiveContext操作hive表

用cdh搭建hadoop集群, 下载hive客户端配置文件 1,配置pom.xml <dependency> <groupId>org....

小鱼儿/ 2024年04月17日 05:34/ 0 赞/ 78 阅读

相关 spark-shell引用不了hive数据表的问题 sqlContext hiveContext

从上面两篇开始一直进入一个错误中关于 jack包引用的问题 cdh下载文件安装的环境 centos 7.0 hadoop-2.6.0-cdh5.7.0

傷城~/ 2024年02月18日 18:26/ 0 赞/ 6 阅读

相关 Spark SQL 与Hive集成

目录一、Spark SQL 与Hive集成(spark-shell) （1）添加配置项目（2）启动服务

不念不忘少年蓝@/ 2022年12月10日 03:46/ 0 赞/ 247 阅读

相关 Spark SQL 操作 MySQL数据库和 Hive数据仓库

Spark SQ操作 MySQL和 Hive 一、启动各组件二、操作 MySQL 2.1 读取 MySQL数据库

r囧r小猫/ 2022年11月19日 06:25/ 0 赞/ 640 阅读

相关 Spark SQL+Hive历险记

基础依赖环境 Apache Hadoop2.7.1 Apache Spark1.6.0 Apache Hive1.2.1 Apache Hbase0.98.12

拼搏现实的明天。/ 2022年08月19日 14:27/ 0 赞/ 245 阅读

相关 Spark SQL Hive Tables

Spark SQL also supports reading and writing data stored in [Apache Hive][]. However, sin

蔚落/ 2022年06月13日 05:25/ 0 赞/ 245 阅读

相关 spark sql: SparkSession操作hive表

目标：实现类似于navicat的功能=> 写hql语句，在idea下使用spark sql 一键运行，而不用到shell窗口下运行命令步骤：写sql文件 (resour

系统管理员/ 2022年04月18日 05:03/ 0 赞/ 239 阅读

相关 spark sql 操作hbase表

在hbase表 \[ns1:person\] 中有如下数据 hbase(main):073:0> scan 'ns1:person' ROW

左手的ㄟ右手/ 2022年04月13日 05:51/ 0 赞/ 339 阅读

相关 Spark SQL+Hive历险记

\[size=medium\] 基础依赖环境 Apache Hadoop2.7.1 Apache Spark1.6.0 Apache Hive1.2.1

怼烎@/ 2022年04月12日 12:27/ 0 赞/ 241 阅读

相关 Hive编程指南-Spark操作Hive

摘要：本文将要说明如何使用Spark来对Hive进行操作 1、打jar包，提交Spark任务通过提交spark任务的方式，如下面的sca

本是古典何须时尚/ 2021年09月11日 07:00/ 0 赞/ 674 阅读