MapReduce计数器

今天药忘吃喽~ 2021-09-17 12:40 448阅读 0赞

## 　　　　　　　　　　MapReduce计数器 ##

# #

## 计数器输出 ##

运行完毕作业之后的计数器输出

![Center][]

![Center 1][]

## 内置计数器 ##

[Hadoop][]为每个作业提供了若干内置计数器，用以描述各项指标。

### 文件系统计数器 ###

所属类：org.apache.hadoop.mapreduce.FileSystemCounter

BYTES\_READ：文件系统读取的字节数

BYTES\_WRITTEN：文件系统写的字节数

### FileInputFormat任务计数器 ###

所属类：org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter

BYTES\_READ：map任务通过FileInputFormat读取的字节数

### FileOutputFormat任务计数器 ###

BYTES\_WRITTEN：由map任务或者reduce任务通过FileOutputFormat写的字节数

### 作业计数器 ###

所属类：org.apache.hadoop.mapreduce.JobCounter

TOTAL\_LAUNCHED\_MAPS：启动的map任务数(推测执行启动的任务，以下也是)

TOTAL\_LAUNCHED\_REDUCES：启动的reduce任务数

TOTAL\_LAUNCHED\_UBERTASKS：启动的uber任务数

NUM\_UBER\_SUBMAPS：uber任务中的map任务数

NUM\_UBER\_SUBREDUCES：uber中reduce任务数

NUM\_FAILED\_MAPS：失败的map数

NUM\_FAILED\_REDUCES：失败的reduce数

NUM\_FAILED\_UBERTASKS：失败的uber任务数

DATA\_LOCAL\_MAPS：数据本地化的map数，即与输入数据在同一节点的map数

RACK\_LOCAL\_MAPS：与输入数据在同一机架上的map数，但不在同一节点

OTHER\_LOCAL\_MAPS：与输入数据不在同一机架上的map数

SLOTS\_MILLIS\_MAPS：map任务运行的总时间

SLOTS\_MILLIS\_REDUCES：reduce任务运行的总时间

### MapReduce任务计数器 ###

MAP\_INPUT\_REDORDS：map输入的记录数

MAP\_SKIPPED\_RECORDS：map跳过的记录数

MAP\_INPUT\_BYTES：map输入的字节数

SPLIT\_RAW\_BYTES：分片的原始字节数

MAP\_OUTPUT\_RECORDS：map输出的记录数

MAP\_OUTPUT\_BYTES：map输出的字节数

MAP\_OUTPUT\_MATERIALIZED\_BYTES：map输出后写到磁盘上的字节数

COMBINER\_INPUT\_RECORDS：作业中combiner已经处理输入的记录数

COMBINER\_OUPUT\_REDORDS：作业中combiner已产生输出的记录数

REDUCE\_INPUT\_GROUPS：reduce输入的组，即每当reduce()被调用

REDUCE\_INPUT\_RECORDS：作业中reduce已经处理的输入记录个数

REDUCE\_OUTPUT\_RECORDS：reduce输出的记录数

REDUCE\_SKIPPED\_RECORDS：reduce跳过的组数

REDUCE\_SHUFFLER\_BYTES：shuffle中将map输出数据复制到reduce中的字节数

SPILLED\_RECORDS：作业中map和reduce任务溢出到磁盘的记录数

CPU\_MILLISECONDS：总计的cpu时间

PHYSICAL\_MEMORY\_BYTES：一个任务所用的物理内存字节数

VIRTUAL\_MEMORY\_BYTES：一个任务所使用的虚拟内存字节数

COMMITTED\_HEAP\_BYTES：JVM中总有效内存量

GC\_TIME\_MILLIS：GC运行时间毫秒数

SHUFFLED\_MAPS：由shuffle传输的map数

FAILED\_SHUFFLE：失败的shuffle数

MERGED\_MAP\_OUTPUTS：被合并的map输出数

## 自定义计数器 ##

自定义计数器，计数器的值可以在mapper或reducer中增加，计数器由一个[Java][]枚举(enum)类型定义

**\[java\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain]

1.  **enum** Temperature\{  
2.      MISSING,  
3.      TOTAL  
4.  \}

在map或者reduce中使用计数器

**\[java\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain]

1.  context.getCounter(Temperature.TOTAL).increment(1);

### 获取计数器 ###

**\[java\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain]

1.  Counters counters = job.getCounters();  
2.  **long** total = counters.findCounter(MaxTemperature.Temperature.TOTAL).getValue();//获取自定义计数器  
3.  **long** mpas = counters.findCounter(TaskCounter.MAP\_INPUT\_RECORDS).getValue(); //获取内置计数器

![save_snippets.png][]

[Center]: /images/20210726/61bcdca061cd421581a3fd63cbf07902.png
[Center 1]: /images/20210726/3ff41932d7d045b9af615a012d757f79.png
[Hadoop]: http://lib.csdn.net/base/hadoop
[Java]: http://lib.csdn.net/base/javase
[view plain]: http://blog.csdn.net/colin_yjz/article/details/46669703#
[save_snippets.png]: /images/20210726/653effe61d234bf597b591bb6e67df1c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，448人围观）

还没有评论，来说两句吧...

相关阅读

相关程序计数器

目录标题介绍作用代码演示使用PC寄存器存储字节码指令地址有什么用呢？ PC寄存器为什么被设定为

分手后的思念是犯贱/ 2024年02月17日 10:29/ 0 赞/ 65 阅读

相关 2.2.5 hadoop体系之离线计算-mapreduce分布式计算-MapReduce中的计数器

目录 1.计数器概念 2.hadoop内置计数器列表 3.实现自己的计数器 3.1 提出需求 3.2 方式一：通过context上下文对象可以获取我们的计数器 3.

我就是我/ 2022年12月13日 04:35/ 0 赞/ 136 阅读

相关 css 实现计数器_CSS计数器简介

css 实现计数器 Counters are a big part of programming. They help keep tabs on loops by stori

港控/mmm°/ 2022年11月27日 04:27/ 0 赞/ 221 阅读

相关 Hadoop系列之MapReduce 计数器(31)

MapReduce 计数器计数器是收集作业统计信息的有效手段之一，用于质量控制或者应用级统计。计数器还可用于辅助诊断系统故障。如果需要将日志信息传输到 map 或 re

喜欢ヅ旅行/ 2022年10月31日 04:20/ 0 赞/ 234 阅读

相关 Hadoop-MapReduce计数器和数据清洗

计数器应用 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9n

迈不过友情╰/ 2022年10月18日 13:00/ 0 赞/ 259 阅读

相关 css计数器

> 本质上CSS计数器是由CSS维护的变量，这些变量可能根据CSS规则增加以跟踪使用次数。这允许你根据文档位置来调整内容表现。 CSS计数器是[CSS2.1中自动计数编号部分]

亦凉/ 2022年05月22日 11:20/ 0 赞/ 243 阅读

相关 ZZ计数器

　　1.读题出锅 x 2 　　2.内外循环变量不分 x 2 　　3.不开long long见祖宗 x 2 　　　　　2019.7.30 : 因为[拦截导弹][

╰半橙微兮°/ 2021年11月09日 00:16/ 0 赞/ 348 阅读

相关 Java高效计数器

翻译人员: 铁锚翻译时间: 2013年11月3日原文链接: [Efficient Counter in Java][] 我们经常使用 HashMap作为计

怼烎@/ 2021年11月05日 15:50/ 0 赞/ 315 阅读

相关 MapReduce计数器

　　　　　　　　　　MapReduce计数器计数器输出运行完毕作业之后的计数器输出 ![Center][] ![Center 1][] 内置计数器

今天药忘吃喽~/ 2021年09月17日 12:40/ 0 赞/ 449 阅读

相关 Ardunio计数器

连线部分和按钮序列 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9

川长思鸟来/ 2021年08月30日 11:20/ 0 赞/ 443 阅读