基于hadoop （hdfs）+ javaweb （ssh）实现的网盘

柔光的暖阳◎ 2022-06-16 04:24 346阅读 0赞

> 最近在学习hadoop的相关知识，顺便在自己的虚拟机上做一个hadoop 的javaweb项目，类似于一个云盘的效果，通过hadoop中的hdfs文件管理来实现一些文件的上传和下载的功能，现在已经做到能够实现文件的上传功能，还在进一步的完善中，等过几天再把完整的项目内容贴到这上面。

首先说一下关于hadoop的搭建步骤：  
1、首先要在linux上安装hadoop，步骤很简单，但是会有很多的细节问题没有指导的话会费一些时间，打击学习热情。这一步中自己找到一个很好的教程 搭建起hadoop的伪分布式，仅供自己学习的使用。

[http://www.powerxing.com/install-hadoop/][http_www.powerxing.com_install-hadoop]  
这上面的步骤都是很详细的，出现的错误下面的隐藏部分都会有提到，所以很适合一个新手参考。

--------------------

2、搭建完hadoop的伪分布式，然后就要使用eclipse来对hdfs中的文件实现一些操作，虽然我们可以使用命令行编译直接打包来运行自己的MapReduce程序，但是这个使用起来非常的不方便，所以还是使用eclipse比较好点，可以直接运行代码，省去了繁琐的命令。  
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0\_Ubuntu/CentOS  
（这个博客上面没有说明配置jdk，[博客][Link 1]这个是在linux上配置jdk，如果要是用tomcat，可以自己去搜一下）

--------------------

3、做完了以上的准备之后，就可以使用eclipse来创建一个项目来对hdfs中的文件实现操作，对其中的文件操作无非还是增删改查，以及一些对文件的基本操作，但是我感觉刚开始可能跟对数据库的操作差不多，因为这只是一个节点上的文件，但是hdfs最大的有点就是在分布式文件系统上的优势，能够提供高吞吐量的数据访问，适合超大的数据集群访问，所以刚开始可能感觉不到它的特别之处，但是随着深入的学习，慢慢就会感觉到它的强大之处，扯的有点远。

在这个[博客][Link 2]上详细的介绍了文件的操作过程，有各个版本不同的代码，

--------------------

更新-  
这个是已经做好的基于ssh的一个网盘的效果已经上传到CSDN下，可以下载下来参考下  
[http://download.csdn.net/detail/leoe\_/9806192][http_download.csdn.net_detail_leoe_9806192]

[http_www.powerxing.com_install-hadoop]: http://www.powerxing.com/install-hadoop/
[Link 1]: http://www.cnblogs.com/samcn/archive/2011/03/16/1986248.html
[Link 2]: https://my.oschina.net/vigiles/blog/132282
[http_download.csdn.net_detail_leoe_9806192]: http://download.csdn.net/detail/leoe_/9806192