Hadoop笔记

比眉伴天荒 2023-10-06 22:37 14阅读 0赞

##### 1. Hadoop 的集群搭建 #####

[https://dr34m.gitee.io/2022/01/newpost-28/][https_dr34m.gitee.io_2022_01_newpost-28]

##### 2.MapReduce 核心思想 #####

![在这里插入图片描述][f7c31af696a74289b7c7c385ac14bb54.png]

1.4 MapReduce进程  
一个完整的MapReduce程序在分布式运行时有三类实例进程

A．MrAppMaster：负责整个程序的过程调度及状态协调

B．MapTask：负责Map阶段的整个数据处理流程

C．ReduceTask：负责Reduce阶段的整个数据处理流程

1.7 MapReduce编程规范  
用户编写的程序分成三个部分：Mapper、Reduce和Driver

A．Mapper阶段

· 用户自定义的Mapper要继承自己的父类

· Mapper的输入数据是KV对的形式(KV的类型可自定义)

· Mapper中的业务逻辑写在map()方法中

· Mapper的输出数据是KV对的形式(KV的类型可自定义)

· map()方法(MapTask进程)对每一个<K,V>调用一次

B．Reducer阶段

· 用户自定义的Reducer要继承自己的父类

· Reducer的输入数据类型对应Mapper的输出数据类型，也是KV

· Reducer的业务逻辑写在reduce()方法中

· ReduceTask进程对每一组相同K的<K,V>组调用一次reduce()方法

C．Driver阶段

· 相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象

[http://www.voycn.com/article/hadoopmapreducezhishidianzongjie][http_www.voycn.com_article_hadoopmapreducezhishidianzongjie]

[https_dr34m.gitee.io_2022_01_newpost-28]: https://dr34m.gitee.io/2022/01/newpost-28/
[f7c31af696a74289b7c7c385ac14bb54.png]: https://img-blog.csdnimg.cn/f7c31af696a74289b7c7c385ac14bb54.png
[http_www.voycn.com_article_hadoopmapreducezhishidianzongjie]: http://www.voycn.com/article/hadoopmapreducezhishidianzongjie

发表评论取消回复

表情：

评论列表（有 0 条评论，14人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop笔记

1. Hadoop 的集群搭建 [https://dr34m.gitee.io/2022/01/newpost-28/][https_dr34m.gitee.io_202

比眉伴天荒/ 2023年10月06日 22:37/ 0 赞/ 15 阅读

相关 hadoop笔记

HDFS的体系结构： HDFS采用了主从（Master/Slave)结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode

ゝ一纸荒年。/ 2023年06月09日 13:25/ 0 赞/ 8 阅读

相关 hadoop笔记

【1】Hadoop框架核心：MapReduce、HDFS。【2】Hadoop单机部署【3】伪分布式部署【4】eclipse-hadoop 插件问题汇总【

傷城~/ 2022年12月03日 15:48/ 0 赞/ 142 阅读

相关 Hadoop笔记

安装Hadoop集群安装版本：hadoop-0.20.2 设置免登陆（略） master:idc01-vm-test-124 slave:idc01-vm-test-

灰太狼/ 2022年08月26日 15:20/ 0 赞/ 142 阅读

相关 hadoop笔记

ubuntu下安装 http://www.powerxing.com/install-hadoop/ centos下安装

朱雀/ 2022年07月19日 01:29/ 0 赞/ 182 阅读

相关 Hadoop错误笔记

1：错误一：重启agent unknow ![Image 1][] 2：export HADOOP\_DATANODE\_OPTS="-Xmx26214m -Xms25

小咪咪/ 2022年07月15日 05:43/ 0 赞/ 174 阅读

相关【Hadoop学习笔记】——Hadoop基础

![图片名称][SouthEast] 大数据时代 -------------------- 当前时代是数据爆炸的时代，全球各个网站、电子设备等都在源源不断地产生着大

朴灿烈づ我的快乐病毒、/ 2022年06月14日 11:20/ 0 赞/ 269 阅读

相关 Hadoop笔记

![Center][] \[创建文件夹\] sudo mkdir /data cd / ls -all \[改变拥有者\] sudo chown n

梦里梦外;/ 2022年06月07日 12:14/ 0 赞/ 179 阅读

相关 Hadoop笔记详解

![Center][] Hadoop 本机集群机器： 211 212 215 216 四台对应 s100 s101 s102 s103 s104

痛定思痛。/ 2022年06月05日 23:15/ 0 赞/ 187 阅读

相关 hadoop学习笔记

最近在学习hadoop，做下笔记！ 1.hadoop管理页 hadoop部署完成后，管理页ip为部署hadoop主节点ip，端口为默认的50070，如我本地访问地址

向右看齐/ 2022年01月14日 23:41/ 0 赞/ 238 阅读