11.1 Spark Sql;jsonRDD转换成DataFrame

雨点打透心脏的1/2处 2022-05-18 08:55 287阅读 0赞

Hive是Shark的前身，Shark是SparkSQL的前身

Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由 于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上， 当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式 查询应用服务来使用。

除了基于Spark的特性外，Shark是完全兼容Hive的语法，表结构以 及UDF函数等，已有的HiveSql可以直接进行迁移至Shark上

Shark底层依赖于Hive的解析器，查询优化器，但正是由于SHark的整 体设计架构对Hive的依赖性太强，难以支持其长远发展，比如不能和 Spark的其他组件进行很好的集成，无法满足Spark的一栈式解决大数据处 理的需求

相对于Shark，SparkSQL有什么优势呢？

SparkSQL产生的根本原因，其完全脱离了Hive的限制

SparkSQL支持查询原生的RDD，这点就极为关键了。RDD是Spark平台的核心概念，是 Spark能够高效的处理大数据的各种场景的基础

能够在Scala中写SQL语句。支持简单的SQL语法检查，能够在Scala中写Hive语句访问Hive数 据，并将结果取回作为RDD使用

最进出来另个组合名称：

Spark on Hive

Hive只是作为了存储的角色

SparkSQL作为计算的角色

Hive on Spark

Hive承担了一部分计算（解析SQL，优化SQL...）的和存储

Spark作为了执行引擎的角色

--------------------

DataFrame创建的方式：

SparkConf conf = new SparkConf().setAppName("DataFrameTest").setMaster("local");

JavaSparkContext jsc =new JavaSparkContext(conf);

SQLContext sc = new SQLContext(jsc);//new一个SQLContext对象

DataFrame df = sc.read().json("test.json");//按json格式读取文件

/\*\*

\* 默认只是显示这个DF里面的前十行数据

\* 类似Spark core里面的action类算子

\*/

df.show();

df.printSchema();//查看表结构类型

df.select("age").show();//相当于 select age from table

//相当于：SELECT name,age+10 as plusAge FROM table;

df.select(df.col("name"),df.col("age").plus(10).as("plusAge")).show();

df.filter(df.col("age").gt(10)).show();//相当于：SELECT \* FROM table WHERE age > 10

df.groupBy(df.col("age")).count().show(); //相当于：SELECT COUNT(\*) FROM p GROUP BY age

/\*\*

\* 将DataFrame注册成一张临时表

\* table1这个表，会物化到磁盘吗？ 这个表只是逻辑上的。

\*/

df.registerTempTable("table1");

sc.sql("SELECT \* FROM table1 WHERE age>10").show();

--------------------

发表评论取消回复

表情：

评论列表（有 0 条评论，287人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark读取文本文档创建DataFrame, 通过RDD转换成DataFrame, 通过SparkSession构建DataFrame 20

前言 * 在Spark2.0版本之前,Spark SQL中SQLContext是创建DataFrame和执行SQL的入口,可以利用hiveContext通过hiv...

电玩女神/ 2024年04月18日 12:43/ 0 赞/ 67 阅读

相关 Spark SQL中rdd转换成DataFrame的五种方式

Spark SQL中生成DataFrame的五种方式以前公司用的是spark-core，但是换工作后用的多是spark-sql，spark-dataframe。最近学习

「爱情、让人受尽委屈。」/ 2023年01月10日 14:31/ 0 赞/ 265 阅读

相关 Spark中DataFrame与Pandas中DataFrame相互转换

Spark中DataFrame前面已经给大家介绍过了，以及RDD、DataSet、DataFrame之间相互转换，而PySpark可以说是Spark和python的结合体，Py

╰+哭是因爲堅強的太久メ/ 2022年12月08日 04:20/ 0 赞/ 683 阅读

相关 Spark之RDD、DataSet、DataFrame转换

前面已经给大家说过RDD、DataSet、DataFrame三者之间的关系以及区别，各自都有各自的优劣。RDD、DataFrame、Dataset三者有许多共性，有各自适用的场

偏执的太偏执、/ 2022年11月28日 00:52/ 0 赞/ 401 阅读

相关 Spark将RDD转换成DataFrame的两种方式

http://zhao-rock.iteye.com/blog/2328161 介绍一下Spark将RDD转换成DataFrame的两种方式。 1.通过是使用case

野性酷女/ 2022年06月15日 07:47/ 0 赞/ 247 阅读

相关 11.1 Spark Sql;jsonRDD转换成DataFrame

Hive是Shark的前身，Shark是SparkSQL的前身 Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性

雨点打透心脏的1/2处/ 2022年05月18日 08:55/ 0 赞/ 288 阅读

相关 DataFrame，将RDD转换成DataFrame

DataFrame相对于一张表第一步创建一个普通的RDD，但是必须将其转换为RDD<Row>的这种格式 JavaRDD<Row> rows = lines.map

短命女/ 2022年05月16日 07:35/ 0 赞/ 302 阅读

相关 Spark RDD转换成DataFrame的两种方式

Spark SQL支持两种方式将现有RDD转换为DataFrame。第一种方法使用反射来推断RDD的schema并创建DataSet然后将其转化为DataFrame。这种

阳光穿透心脏的1/2处/ 2022年01月11日 15:05/ 0 赞/ 388 阅读

相关 Spark之 RDD转换成DataFrame的Scala实现

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>s

水深无声/ 2022年01月07日 10:57/ 0 赞/ 310 阅读

相关 Spark RDD转换为DataFrame

`构造case class，利用反射机制隐式转换` `scala> ``import` `spark.implicits._` `scala> val rdd= sc.te

女爷i/ 2022年01月07日 10:53/ 0 赞/ 320 阅读