Spark操作——行动操作(二)

ゞ浴缸里的玫瑰 2023-02-12 12:24 13阅读 0赞

*  集合标量行动操作
 *  存储行动操作

### 存储行动操作 ###

*  saveAsTextFile(path: String): Unit
 *  saveAsTextFile(path: String, codec: Class\[\_ <: CompresssionCodec\]): Unit

将RDD以文本文件的格式保存到文件系统中，codec参数用于指定压缩类型

*  saveAsSequenceFile(path: String, codec: Option\[Class\[\_ <: CompressionCodec\]\] = None): Unit

将RDD以Sequence的文件格式保存到HDFS文件系统中

*  saveAsObjectFile(path: String): Unit

将RDD的元素序列化成对象，保存到文件系统中。

scala> var rdd = sc.makeRDD(1 to 10, 2)
    rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[82] at makeRDD at <console>:24
    
    // 输出两个文件，因为分区个数为2，每个分区对应一个文件
    scala> rdd.saveAsTextFile("/Users/lyf/Desktop/output")

*  saveAsHadoopFile(F <: OutputFormat\[K, V\])(path: String)(implicit fm: ClassTag\[F\]): Unit
 *  saveAsHadoopFile(F <: OutputFormat\[K, V\])(path: String, codec: Class\[\_ <: CompressionCodec\])(implicit fm: ClassTag\[F\]): Unit
 *  saveAsHadoopFile(path: String, keyClass: Class\[\_\], valueClass: Class\[\_\], outputFormatClass: Class\[\_ <: OutputFormat\[\_, \_\]\], codec: Class\[\_ <: CompressionCodec\]): Unit
 *  saveAsHadoopFile(path: String, keyClass: Class\[\_\], valueClass: Class\[\_\], outputFormatClass: Class\[\_ <: OutputFormat\[\_, \_\]\], conf: JobConf=……, codec: Option\[Class\[\_ <: CompressionCodec\]\]=None): Unit

saveAsHadoopFile操作将RDD存储到HDFS上，支持旧Hadoop API，可以指定outputKeyClass、outputValueClass以及压缩格式

*  saveAsHadoopDataset(conf: JobConf): Unit

saveAsHadoopDataset将RDD存储到除了HDFS的其他存储中，比如Hbase。JobConf中通常需要设置5个参数：输出路径、Key的类型、Value的类型、输出格式以及压缩相关的参数

*  saveAsNewAPIHadoopFile\[F <: OutputFormat\[K, V\]\](path: String): Unit
 *  saveAsNewAPIHadoopFile(path: String, keyClass: Class\[\_\], valueClass: Class\[\_\], outputFormatClass: Class\[\_ <: OutputFormat\[\_, \_\]\], conf: Configuration=self.context.hadoopConfiguration): Unit

新版的Hadoop API，功能通saveAsHadoopFile。

*  saveAsNewAPIHadoopDataset(conf: Configutation): Unit

新版的Hadoop API，功能通saveAsHadoopDataset

参考:

\[1\] 郭景瞻. 图解Spark:核心技术与案例实战\[M\]. 北京:电子工业出版社, 2017.