No FileSystem for scheme: hdfs问题

男娘i 2021-10-01 05:04 246阅读 0赞

通过FileSystem.get(conf)初始化的时候，要通过静态加载来实现，其加载类的方法代码如下：

private static FileSystem createFileSystem(URI uri, Configuration conf
          ) throws IOException {
        Class<?> clazz = conf.getClass("fs." + uri.getScheme() + ".impl", null); 
        if (clazz == null) {
          throw new IOException("No FileSystem for scheme: " + uri.getScheme());
        }
        FileSystem fs = (FileSystem)ReflectionUtils.newInstance(clazz, conf);
        fs.initialize(uri, conf);
        return fs;
      }

onf.getClass需要读取hadoop-common-x.jar下面的core-default.xml，但是这个xml里面没有fs.hdfs.impl的配置信息，所以需要将这个类给配置上去。

将hadoop-commom-x.jar里面的core-default.xml文件取出并修改，添加如下代码：

<property>
    <name>fs.hdfs.impl</name>
    <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
    <description>The FileSystem for hdfs: uris.</description>
    </property>

或者应用代码使用时候，自行添加：

configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

转载于:https://www.cnblogs.com/felixzh/p/10268018.html

发表评论取消回复

表情：

评论列表（有 0 条评论，246人围观）

还没有评论，来说两句吧...

相关阅读

相关 Reserved block count for Large Filesystem

: On large FS like 100gb default value of "Reserved block count" takes 5% of usable...

太过爱你忘了你带给我的痛/ 2024年04月18日 09:04/ 0 赞/ 51 阅读

相关 DataSphereStudio创建工作流时报错No FileSystem for scheme: hdfs问题

DataSphereStudio创建工作流时报错No FileSystem for scheme: hdfs问题最近在用微众银行开发的dss工具，但是安装完之后，创建工

骑猪看日落/ 2023年10月07日 09:57/ 0 赞/ 15 阅读

相关 java.lang.IllegalArgumentException: no NetworkModule installed for scheme “tcp“

mq混淆导致 -keep class org.eclipse.paho.client.mqttv3.internal. { ; } -keep class o

àì夳堔傛蜴生んèń/ 2023年10月04日 14:21/ 0 赞/ 13 阅读

相关 Could not find a file system implementation for scheme ‘hdfs‘.

/home/appleyuchi/Java/jdk1.8.0_131/bin/java -javaagent:/home/appleyuchi/下載/softwa

偏执的太偏执、/ 2023年01月05日 01:25/ 0 赞/ 217 阅读

相关 HDFS学习之FileSystem

> 本地访问HDFS最主要的方式是使用HDFS提供的Java API，其他的访问方式也均是建立在这些API之上的。 > > Hadoop2.6.4API文档：[http://

古城微笑少年丶/ 2022年08月22日 12:26/ 0 赞/ 210 阅读

相关三十五、HDFS的FileSystem常用操作

package com.yang.hdfs; import java.io.IOException; import java.net.URI;

水深无声/ 2022年05月08日 15:12/ 0 赞/ 407 阅读

相关 Hdfs FileSystem 使用姿势不对导致的内存泄露

文章目录一、问题描述二、问题排查 Java Heap Dump文件使用Jmap获取运行中的jvm

墨蓝/ 2022年04月24日 03:46/ 0 赞/ 473 阅读

相关 Hadoop2.2异常No FileSystem for scheme: hdfs

\[color=green\]\[size=large\]把eclipse中的hadoop项目，换了一个工作空间，再次启动任务时，发现报如下异常：\[/size\]\[/col

港控/mmm°/ 2022年04月13日 10:44/ 0 赞/ 396 阅读

相关 IOS开发之无法选择模拟器显示NO Scheme

1. 不是文件冲突的看这个链接 https://blog.csdn.net/sanpintian/article/details/7377365 2.文件冲突

绝地灬酷狼/ 2022年01月11日 23:57/ 0 赞/ 210 阅读

相关 No FileSystem for scheme: hdfs问题

通过FileSystem.get(conf)初始化的时候，要通过静态加载来实现，其加载类的方法代码如下： private static FileSystem crea

男娘i/ 2021年10月01日 05:04/ 0 赞/ 247 阅读