park.sql.AnalysisException: path hdfs://* already exists

不念不忘少年蓝@ 2021-12-16 14:15 238阅读 0赞

df.write.format("csv").save("hdfs://s206/user/hive/warehouse/mobike.db/logs/year=2019/month=7/day=5/hour=7/minute=4")
      df.show()

错误代码

scala> users.select("name","favorite_color").write.format("json").save("file:///home/hadoop/tmp/parquet2json/")
    org.apache.spark.sql.AnalysisException: path file:/home/hadoop/tmp/parquet2json already exists.;
      at org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelationCommand.run(InsertIntoHadoopFsRelationCommand.scala:109)
      at org.apache.spark.sql.execution.command.DataWritingCommandExec.sideEffectResult$lzycompute(commands.scala:104)
    ........................................................

解决：  
可以通过设置savemode来解决这个问题

df.write.format("csv").mode("overwrite").save("hdfs://s206/user/hive/warehouse/mobike.db/logs/year=2019/month=7/day=5/hour=7/minute=4")
          df.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70]: /images/20211214/29141ef2ad79428aa8816e0fb93f25ca.png

发表评论取消回复

表情：

评论列表（有 0 条评论，238人围观）

还没有评论，来说两句吧...

相关阅读

相关 ERROR: type “geometry_dump“ already exists ERROR: type “spheroid“ already exists

ERROR: type "geometry\_dump" already exists ERROR: type "spheroid" already exists po

偏执的太偏执、/ 2024年03月23日 14:51/ 0 赞/ 101 阅读

相关 git提示：remote origin already exists

目录问题场景问题原因问题解决 -------------------- 问题场景在GitLab中新建仓库后，然后将本地项目提交提示：remote ori

柔情只为你懂/ 2023年10月16日 12:07/ 0 赞/ 43 阅读

相关 FirebaseApp name [DEFAULT] already exists!

Google的FCM推送出现重复APP初始问题： java.lang.IllegalStateException: FirebaseApp name \[DEFAULT\]

Love The Way You Lie/ 2022年12月08日 14:12/ 0 赞/ 324 阅读

相关 django migrate error: table 'xxx' already exists

python manage.py migrate --fake <appname> 参考：[http://stackoverflow.com/questions/25

拼搏现实的明天。/ 2022年08月21日 08:51/ 0 赞/ 357 阅读

相关 git fatal: destination path '**' already exists and is not an empty directory.解决

网上说需要删除或者重新命名已经存在的本地文件，然后在clone 其实不用。第一步：进入到已存在的目录 cd (/file) 第二步：初始化git init 第三

￡神魔★判官ぃ/ 2022年06月12日 06:39/ 0 赞/ 914 阅读

相关 File already exists: filesystem '/path/db', transaction svn常见错误

Subversion的常见情况的处理 Subversion好用之处不言而喻客户端的svn监控着本地代码的变化，这些变化在commit的时候就会被收集起

系统管理员/ 2022年05月15日 09:25/ 0 赞/ 286 阅读

相关 org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost~~

报错在Spark中运行sc.textFile()等函数后报以下错误： org.apache.hadoop.mapred.InvalidInputException:

太过爱你忘了你带给我的痛/ 2022年04月11日 12:58/ 0 赞/ 274 阅读

相关 park.sql.AnalysisException: path hdfs://* already exists

df.write.format("csv").save("hdfs://s206/user/hive/warehouse/mobike.db/logs/year=201

不念不忘少年蓝@/ 2021年12月16日 14:15/ 0 赞/ 239 阅读

相关 mysqld_safe A mysqld process already exists

最近修改mysql密码遇到mysqld\_safe A mysqld process already exists问题：解决步骤： 1：ps aux |gr

系统管理员/ 2021年10月23日 16:46/ 0 赞/ 706 阅读

相关 /var/run/*.pid already exist. Daemon already running?

如题，我遇到的一个问题，这个问题的产生是因为非正常结束进程服务造成，比如突然断电等，我的操作就是`pkill -9 server_name` 造成的。我反复的执行启动和停止

小咪咪/ 2021年06月24日 15:57/ 0 赞/ 302 阅读