DataSphereStudio创建工作流时报错No FileSystem for scheme: hdfs问题

骑猪看日落 2023-10-07 09:57 15阅读 0赞

#### DataSphereStudio创建工作流时报错No FileSystem for scheme: hdfs问题 ####

最近在用微众银行开发的dss工具，但是安装完之后，创建工作流报错No FileSystem for scheme: hdfs。如果你看到这，那说明项目都已经大概熟悉了，这个报错，应该在部署项目中的`linkis/linkis-bml`报错了，可以通过其中的`logs/linkis.out`日志看具体错误。  
最开始遇到这个问题，我以为是我安装的服务器上没有`hadoop`、`hdfs`命令，后来试了下不是这个问题。最后好好看看这个报错，才觉得好像代码里缺了`FileSystem`类，百度一搜，真有了思路。具体解决办法如下：

##### 1.拷贝jar包 #####

找到这个项目`linkis/linkis-bml`的`lib`文件夹，从里边下载`hadoop-common-x.jar`，需要修改它，下载到本地后，通过压缩工具打开，找到如下文件：（我这里是hadoop-common-.3.1.jar）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70]

##### 2.修改其中的文件 #####

把这个文件拷贝出来，然后在最后添加下边的内容：

<property>
    	<name>fs.hdfs.impl</name>
    	<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
    	<description>The FileSystem for hdfs: uris.</description>
    </property>

像下图这样，放在最后即可，但一定是`<configuration>`标签内。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 1]  
修改完之后保存，并拷回jar包里的原位置替换原文件。

##### 4.补充额外包 #####

从上边看出是多加入了`org.apache.hadoop.hdfs.DistributedFileSystem` 的引入，也应该保证这个类的存在，报错`No FileSystem for scheme: hdfs`原因也是因为缺少它。

但是很不幸，这个类不在`hadoop-common-x.jar`里，还需要其他的包，网上有人说是在`hadoop-hdfs-x.jar`里，但是我在`3.1`版本里的这个包里没有找到这个类，后来我在`hadoop-hdfs-client-x.jar`包里找到了这个类。所以我们还要多加一个这个包。

当然，如果你的`linkis-bml/lib`里已经有这个包了，那就不用管了，如果没有的话，那就需要准备好这个包，然后再上传回原位置。

最后说下，上边需要上传的两个包为：

hadoop-common-x.jar （已经补充过core-default.xml文件）
    hadoop-hdfs-client-x.jar

##### 5.重启项目 #####

我这里通过排查错误是在`linkis-bml`项目里，如果你不是这个项目那就去操作另一个项目，都是一样的结构，重启时先执行`linkis-bml/bin/stop-bml.sh`，再执行`start-bml.sh` 脚本即可。

##### 6.创建工作流 #####

最后再去页面上创建工作流一般就会成功了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 2]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200226075048682.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200226075216508.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200226081427662.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200226081438199.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp,size_16,color_FFFFFF,t_70