spark性能调优在项目中使用Kryo序列化

- 日理万妓 2022-05-20 10:44 125阅读 0赞

SparkConf.set("spark.serializer","org.apache.spark.serializer.KryoSerializer");

还可以进一步优化，优化这个序列化格式

默认情况下，Spark内部是使用Java的序列化机制，ObjectOutputStream/ObjectInputStream,对象输入输出流机制，来进行序列化

这种默认序列化机制的好处在于，处理起来比较方便；也不需要我们手动去做什么事情，只是，你在算子里面使用的变量，必须是实现Serializable接口的，可序列化即可。

但是缺点在于，默认的序列化机制的效率不高，序列化的速度比较慢，占用的内存空间还是比较大

可以进行手动进行序列化格式的优化

Spark支持使用Kryo序列化机制，Kryo序列化机制，比默认的Java序列化机制，速度要快，序列化后的数据要更小，大概是Java序列化机制的1/10

所以Kryo序列化优化以后，可以让网络传输的数据变少，在急群中耗费的内存资源大大减少

Kryo序列化机制：一旦启动，后边几个地方都会生效

1. 算子函数中使用到外部变量，需要序列化

2. 持久化RDD时进行序列化，StorageLevel.MEMORY\_ONLY\_SER

当使用了序列化持久化级别时，在将每个RDD partition序列化成一个大的字节数组时，就会使用Kryo进一步优化序列化的效率和性能

3. shuffle

在进行stage间的task的shuffle操作时，节点与节点间的task会互相大量通过网络拉取和传输文件，此时，这些数据既然通过网络传输，也是可能哟啊序列化的，就会使用Kryo序列化机制

每个节点有2个task，那么每个节点就有俩个partition

应用：

首先第一步：在sparkConf中设置一个属性：

set("spark.serializer","org.apache.spark.serializer.KryoSerializer");

Kryo之所以没有被作为默认的序列化类库的原因，主要是因为Kryo要求，如果达到它的最佳性能的话，那么就一定要注册你自定义的类（比如，你的算子函数中使用了外部自定义类型的对象变量，这是，就要求必须注册你的类，否则Kryo达不到最佳性能）

第二步，注册你使用到的，需要通过Kryo序列化的，一些自定义类

registerKryClasses(你自己定义的类new Class\[\]\{\})

发表评论取消回复

表情：

评论列表（有 0 条评论，125人围观）

还没有评论，来说两句吧...

相关阅读

相关 SPARK调优之序列化

序列化是指把对象转换为字节序列的过程；而反序列化是指把字节序列恢复为对象的过程数据的持久化，通过序列化可以把数据永久地保存到硬盘上

不念不忘少年蓝@/ 2023年08月17日 15:19/ 0 赞/ 113 阅读

相关四、Spark性能调优——Kryo序列化

默认情况下， Spark 使用 Java 的序列化机制。 Java 的序列化机制使用方便，不需要额外的配置，在算子中使用的变量实现 Serializable 接口即可，但是，

川长思鸟来/ 2023年06月06日 03:52/ 0 赞/ 19 阅读

相关 Spark 中的 Kryo 磁盘序列化

在 Apache Spark 中，对于大数据应用程序，建议使用 Kryo 序列化而不是 java 序列化。与 java 序列化相比，当您移动和缓存大量数据时，与 java 序列

超、凢脫俗/ 2023年05月29日 11:39/ 0 赞/ 21 阅读

相关 Spark 序列化和kryo序列化器详解

> 建议看本文前先看看另外一篇文章[Java序列化和反序列化介绍 > ][Java_] > > > 文章目录 > > 1.Java序列化含义 >

痛定思痛。/ 2022年11月07日 13:21/ 0 赞/ 20 阅读

相关 Spark性能调优

Spark调优主要分为运行资源调优和代码调优 1.运行资源调优 [Spark性能优化：资源调优篇][Spark] [Spark性能调优：合理设置并行度][Spar

野性酷女/ 2022年10月16日 06:07/ 0 赞/ 344 阅读

相关在Spark中自定义Kryo序列化输入输出API

　在[Spark][]中内置支持两种系列化格式：（1）、Java serialization；（2）、Kryo serialization。在默认情况下，[Spark][]使用

向右看齐/ 2022年08月04日 15:52/ 0 赞/ 130 阅读

相关 Spark的Kryo序列化注册

Spark的Kryo序列化注册 Spark序列化可以将RDD序列化来减少内存占用。对于优化网络性能极为重要 1、java序列化： spark.seriali

喜欢ヅ旅行/ 2022年07月13日 14:41/ 0 赞/ 219 阅读

相关 Spark性能调优

文章转载：[http://gad.qq.com/article/detail/20239][http_gad.qq.com_article_detail_20239] 通常我

不念不忘少年蓝@/ 2022年06月07日 11:45/ 0 赞/ 460 阅读

相关 spark性能调优在项目中使用Kryo序列化

SparkConf.set("spark.serializer","org.apache.spark.serializer.KryoSerializer"); 还可以进一步优

- 日理万妓/ 2022年05月20日 10:44/ 0 赞/ 126 阅读

相关 spark性能调优 RDD持久化

第一，RDD重构与优化尽量去复用RDD,差不多的RDD，可以抽取成为一个共同的RDD，供后面的RDD计算时，反复使用。第二，公共RDD一定要实现持久化持久化，也就是

朴灿烈づ我的快乐病毒、/ 2022年05月20日 10:18/ 0 赞/ 190 阅读