Spark-Sql快速入门系列(3) | 读/写数据源

ゝ一纸荒年。 2022-12-01 15:35 167阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]

# 文件保存选项(SaveMode) #

*  保存操作可以使用 SaveMode, 用来指明如何处理数据. 使用mode()方法来设置.
 *  有一点很重要: 这些 SaveMode 都是没有加锁的, 也不是原子操作. 还有, 如果你执行的是 Overwrite 操作, 在写入新的数据之前会先删除旧的数据.

<table> 
 <thead> 
  <tr> 
   <th>Scala/Java</th> 
   <th>Any Language</th> 
   <th>Meaning</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SaveMode.ErrorIfExists(default)</td> 
   <td>“error”(default)</td> 
   <td>如果文件已经存在则抛出异常</td> 
  </tr> 
  <tr> 
   <td>SaveMode.Append</td> 
   <td>“append”</td> 
   <td>如果文件已经存在则追加</td> 
  </tr> 
  <tr> 
   <td>SaveMode.Overwrite</td> 
   <td>“overwrite”</td> 
   <td>如果文件已经存在则覆盖</td> 
  </tr> 
  <tr> 
   <td>SaveMode.Ignore</td> 
   <td>“ignore”</td> 
   <td>如果文件已经存在则忽略</td> 
  </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/b153b401b57b45f9934e995927cfe37c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL 数据源

3.SparkSQL 数据源 3.1 通用加载/保存方法 3.1.1 手动指定选项　　Spark SQL 的 DataFrame 接口支持多种数据源的操...

我会带着你远行/ 2024年04月20日 09:11/ 0 赞/ 84 阅读

相关 Spark Streaming快速入门系列(3) | Kafka 数据源

目录一.Kafka选型二.kafka和streaming理论指导三.从kafka消费数据1 三.从kafka消费数据2 三.从kafk

谁借莪１个温暖的怀抱￠/ 2022年12月03日 15:48/ 0 赞/ 221 阅读

相关 Spark-Sql快速入门系列(4) | JDBC读写数据

目录一.JDBC 从 jdbc 读数据通用写法专用写法向 jdbc 写入数据

淩亂°似流年/ 2022年12月01日 15:43/ 0 赞/ 177 阅读

相关 Spark-Sql快速入门系列(3) | 读/写数据源

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

ゝ一纸荒年。/ 2022年12月01日 15:35/ 0 赞/ 168 阅读

相关 Spark-Sql快速入门系列(2) | 自定义SparkSQL函数

目录一.数据源二.自定义 UDF 函数三.用户自定义聚合函数 sum()聚合 avg()聚合四.自定义强类型聚合

秒速五厘米/ 2022年12月01日 14:25/ 0 赞/ 191 阅读

相关 sparkSql 读写Es

目录一、maven相关依赖二、ticket.csv 三、代码四、输出结果五、Es版本问题 -------------------- 一、maven相关依

你的名字/ 2022年09月03日 03:24/ 0 赞/ 237 阅读

相关 Spark系列--SparkSQL(六)数据源

前言 SparkSQL的数据源：结构化的文件（json，parquet），或者是Hive的表，或者是外部的数据库（mysql），也或者是已经存在的RDD。 Spark

梦里梦外;/ 2022年05月19日 10:13/ 0 赞/ 257 阅读

相关 SparkSQL对mysql的读写

SparkSQL JDBC数据源！：load这个方法不会真正读取mysql的数据 //1、创建sparkSession val sparkSessio

港控/mmm°/ 2022年05月08日 11:42/ 0 赞/ 390 阅读

相关 SparkSQL读写kudu小记

在操作之前首先要有相应的依赖 <dependency> <groupId>org.apache.kudu</groupId>

今天药忘吃喽~/ 2022年03月06日 07:56/ 0 赞/ 385 阅读

相关 SparkSql 读写Hive 分区表（数据清洗类）

> 主要使用 SparkSql 对 Hive 分区表使用动态分区进行操作，根据规则对数据进行清洗等，除了刚导入数据时指定date范围清洗，后期按天进行清洗。 p

比眉伴天荒/ 2021年09月23日 09:46/ 0 赞/ 558 阅读