Hadoop基础及演练——第2章 Hadoop核心HDFS

ゞ浴缸里的玫瑰 2022-05-25 08:23 198阅读 0赞

# 第2章 Hadoop核心HDFS #

--------------------

## 2-1 HDFS概念及优缺点 ##

### Hadoop是什么 ###

Hadoop是一个开源的大数据框架
    Hadoop是一个分布式计算的解决方案
    Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)

### Hadoop核心 ###

HDFS 分布式文件系统：存储是大数据技术的基础
    MapReduce  编程模型：分布式计算是大数据应用的解决方案

### HDFS总结 ###

普通的成百上千的机器
    按TB甚至PB为单位的大量的数据
    简单便捷的文件获取

### HDFS基础架构 ###

#### 1.HDFS概念 ####

##### 数据块 #####

数据块是抽象块而非整个文件作为存储单元
    默认大小为64MB，一般设置为128M，备份X3

![数据块][5af455b80001185419201080.jpg]

##### NameNode #####

管理文件系统的命名空间，存放文件元数据
    维护着文件系统的所有文件和目录，文件与数据块的映射
    记录每个文件中各个块所在数据节点的信息

##### DataNode #####

存储并检索数据块
    向NameNode更新所存储块的列表

#### 2.HDFS优点 ####

适合大文件存储，支持TB、PB级的数据存储，并有副本策略
    可以构建在廉价的机器上，并有一定的容错和恢复机制
    支持流式数据访问，一次写入，多次读取最高效

#### 3.HDFS缺点 ####

不适合大量小文件存储
    不适合并发写入，不支持文件随机修改
    不支持随机读等低延时的访问方式

Hadoop2伪分布式安装：[https://www.imooc.com/article/24911][https_www.imooc.com_article_24911]

[5af455b80001185419201080.jpg]: /images/20220525/6d9cde05f30c4f25ac473a1cc2bd2d9d.png
[https_www.imooc.com_article_24911]: https://www.imooc.com/article/24911

发表评论取消回复

表情：

评论列表（有 0 条评论，198人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop：HDFS基础编程

目录具体流程： 1.在Linux中安装Eclipse 2.创建Eclipse项目 3.编写java程序 4.启动Hadoop 5.执行Eclispse中的HDF

一时失言乱红尘/ 2022年11月17日 03:43/ 0 赞/ 149 阅读

相关 Hadoop - HDFS

简介 Hadoop Distributed File System，分布式文件系统架构 ![7f6aa8d597c45642984257e7089c7077.p

「爱情、让人受尽委屈。」/ 2022年06月05日 10:46/ 0 赞/ 1150 阅读

相关 Hadoop基础及演练——第2章 Hadoop核心HDFS

第2章 Hadoop核心HDFS -------------------- 2-1 HDFS概念及优缺点 Hadoop是什么 Hadoop是一个开源

ゞ浴缸里的玫瑰/ 2022年05月25日 08:23/ 0 赞/ 199 阅读

相关视频教程：hadoop基础及演练

![70][] ![70 1][] ![70 2][] ![70 3][] 100M的文件用这种方式还行，但是如果是100T,100P呢？ ![70 4][]

我就是我/ 2022年05月16日 09:48/ 0 赞/ 205 阅读

相关 Hadoop基础 - Hadoop核心组件之HDFS工作原理

HDFS 1.HDFS是Hadoop的存储组件是一个文件系统，用于存储和管理文件，通过统一的命名空间（类似于本地文件系统的目录树）。是分布式的，服务器集群中各个节点都有自

青旅半醒/ 2022年04月13日 07:49/ 0 赞/ 300 阅读

相关 hadoop-hdfs

HDFS： HDFS即Hadoop的分布式文件系统，以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在

缺乏、安全感/ 2022年04月10日 04:38/ 0 赞/ 274 阅读

相关 Hadoop-2.HDFS的应用

目录： 1. HDFS简介 2. HDFS架构说明 3. HDFS读文件流程 4. HDFS写文件流程 5. HDFS 可靠性 6. HDFS shell 7.

我会带着你远行/ 2022年03月26日 09:39/ 0 赞/ 233 阅读

相关第2.2.3章 hadoop的管理

这个章节的名字套用的是《Hadoop权威指南》第10章的名称，按图索骥，实地看看hadoop里面有什么。 1 名称节点 NameNode作用是管理DataNode，新格

古城微笑少年丶/ 2021年12月12日 10:37/ 0 赞/ 229 阅读

相关 Hadoop HDFS

一、简介 Hadoop Distributed File System，分布式文件系统二、架构 ![hdfs-architecture][] Block数据块

向右看齐/ 2021年10月15日 22:21/ 0 赞/ 426 阅读

相关五、Hadoop核心组件之HDFS

上篇博客介绍了Hadoop的本地模式和伪分布式，本篇主要介绍Hadoop的核心组件HDFS，关注专栏[《破茧成蝶——大数据篇》][Link 1]查看相关系列的文章

野性酷女/ 2021年08月31日 02:46/ 0 赞/ 420 阅读