11.4 使用反射的方式将RDD转换成为DataFrame

系统管理员 2022-05-17 03:29 166阅读 0赞

1、自定义的类必须是public

2、自定义的类必须是可序列化的

3、RDD转成DataFrame的时候，他会根据自定义类中的字段名进行排序。

SparkConf conf = new SparkConf().setMaster("local").setAppName("RDD2DataFrameByReflection");

JavaSparkContext sc = new JavaSparkContext(conf);

SQLContext sqlcontext = new SQLContext(sc);

JavaRDD<String> lines = sc.textFile("Peoples.txt");

JavaRDD<Person> personsRdd = lines.map(new Function<String, Person>() \{

private static final long serialVersionUID = 1L;

@Override

public Person call(String line) throws Exception \{

String\[\] split = line.split(",");

Person p = new Person();

p.setId(Integer.valueOf(split\[0\].trim()));

p.setName(split\[1\]);

p.setAge(Integer.valueOf(split\[2\].trim()));

return p;

\}

\});

//传入进去Person.class的时候，sqlContext是通过反射的方式创建DataFrame

//在底层通过反射的方式或得Person的所有field，结合RDD本身，就生成了DataFrame

DataFrame df = sqlcontext.createDataFrame(personsRdd, Person.class);

//命名table的名字为person

df.registerTempTable("personTable");

DataFrame resultDataFrame = sqlcontext.sql("select \* from personTable where age > 7");

resultDataFrame.show();

JavaRDD<Row> rrdd = resultDataFrame.javaRDD();

JavaRDD<Person> pRdd = rrdd.map(new Function<Row, Person>() \{

private static final long serialVersionUID = 1L;

@Override

public Person call(Row row) throws Exception \{

int id = row.getAs("id");

String name = row.getAs("name");

int age = row.getAs("age");

Person person = new Person(id, name, age);

return person;

\}

\});

pRdd.foreach(new VoidFunction<Person>() \{

private static final long serialVersionUID = 1L;

@Override

public void call(Person p) throws Exception \{

System.out.println(p.toString());

\}

\});

发表评论取消回复

表情：

评论列表（有 0 条评论，166人围观）

还没有评论，来说两句吧...

相关阅读

相关 Dataset 的基础知识和RDD转换为DataFrame

目录 Dataset 的基础知识一、Dataset简介二、Dataset对象的创建 RDD转换为DataFrame 一、反射机制创建DataFrame 二、编程

野性酷女/ 2024年04月08日 11:57/ 0 赞/ 74 阅读

相关把RDD简单的转换成DataFrames

一：准备在pom中配置hive <dependency> <groupId>org.apache.spark</groupId>

àì夳堔傛蜴生んèń/ 2024年02月19日 15:20/ 0 赞/ 37 阅读

相关 Spark SQL中rdd转换成DataFrame的五种方式

Spark SQL中生成DataFrame的五种方式以前公司用的是spark-core，但是换工作后用的多是spark-sql，spark-dataframe。最近学习

「爱情、让人受尽委屈。」/ 2023年01月10日 14:31/ 0 赞/ 264 阅读

相关 RDD和Dataframe相互转换

参考：https://www.cnblogs.com/starwater/p/6841807.html 在spark中，RDD、DataFrame、Dataset是最常用的数

痛定思痛。/ 2022年12月13日 11:30/ 0 赞/ 235 阅读

相关 Spark将RDD转换成DataFrame的两种方式

http://zhao-rock.iteye.com/blog/2328161 介绍一下Spark将RDD转换成DataFrame的两种方式。 1.通过是使用case

野性酷女/ 2022年06月15日 07:47/ 0 赞/ 244 阅读

相关 11.4 使用反射的方式将RDD转换成为DataFrame

1、自定义的类必须是public 2、自定义的类必须是可序列化的 3、RDD转成DataFrame的时候，他会根据自定义类中的字段名进行排序。 SparkConf con

系统管理员/ 2022年05月17日 03:29/ 0 赞/ 167 阅读

相关 DataFrame，将RDD转换成DataFrame

DataFrame相对于一张表第一步创建一个普通的RDD，但是必须将其转换为RDD<Row>的这种格式 JavaRDD<Row> rows = lines.map

短命女/ 2022年05月16日 07:35/ 0 赞/ 299 阅读

相关 Spark RDD转换成DataFrame的两种方式

Spark SQL支持两种方式将现有RDD转换为DataFrame。第一种方法使用反射来推断RDD的schema并创建DataSet然后将其转化为DataFrame。这种

阳光穿透心脏的1/2处/ 2022年01月11日 15:05/ 0 赞/ 388 阅读

相关 Spark之 RDD转换成DataFrame的Scala实现

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>s

水深无声/ 2022年01月07日 10:57/ 0 赞/ 310 阅读

相关 Spark RDD转换为DataFrame

`构造case class，利用反射机制隐式转换` `scala> ``import` `spark.implicits._` `scala> val rdd= sc.te

女爷i/ 2022年01月07日 10:53/ 0 赞/ 316 阅读