Hadoop集群之吞吐能力测试

落日映苍穹つ 2022-12-27 07:29 163阅读 0赞

# Hadoop集群之吞吐能力测试 #

## 一、测试HDFS写性能 ##

测试内容：向HDFS集群写10个128M的文件

[hadoop@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-
    client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB
    
    
    2020-04-16 13:41:24,724 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
    2020-04-16 13:41:24,724 INFO fs.TestDFSIO:             Date & time: Thu Apr 16 13:41:24 CST 2020
    2020-04-16 13:41:24,724 INFO fs.TestDFSIO:         Number of files: 10
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Total MBytes processed: 1280
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:       Throughput mb/sec: 8.88
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Average IO rate mb/sec: 8.96
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:   IO rate std deviation: 0.87
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:      Test exec time sec: 67.61

注意：
    nrFiles n为生成mapTask的数量，生产环境一般可通过8088端口查看cpu核数，设置为cpu核数-1
    
    Number of files：生成mapTask数量，一般是集群中CPU核数-1，我们测试虚拟机就按照实际的物理cpu-1分配即可
    
    Total MBytes processed：单个map处理的文件大小
    
    Throughput mb/sec:单个mapTak的吞吐量    
    	计算方式：处理的总文件大小/每一个mapTask写数据的时间累加
    	集群整体吞吐量：生成mapTask数量*单个mapTak的吞吐量
    
    Average IO rate mb/sec::单个mapTak的吞吐量  
    	计算方式：每个mapTask处理文件大小/每一个mapTask写数据的时间 累加/生成mapTask数量
    
    IO rate std deviation:方差、反映各个mapTask处理的差值，越小越均衡

## 二、测试HDFS读性能 ##

测试内容：读取HDFS集群10个128M的文件

[hadoop@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-
    client-jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB
    
    
    2020-04-16 13:43:38,857 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
    2020-04-16 13:43:38,858 INFO fs.TestDFSIO:   Date & time: Thu Apr 16 13:43:38 CST 2020
    2020-04-16 13:43:38,859 INFO fs.TestDFSIO:         Number of files: 10
    2020-04-16 13:43:38,859 INFO fs.TestDFSIO:  Total MBytes processed: 1280
    2020-04-16 13:43:38,859 INFO fs.TestDFSIO:       Throughput mb/sec: 85.54
    2020-04-16 13:43:38,860 INFO fs.TestDFSIO:  Average IO rate mb/sec: 100.21
    2020-04-16 13:43:38,860 INFO fs.TestDFSIO:   IO rate std deviation: 44.37
    2020-04-16 13:43:38,860 INFO fs.TestDFSIO:      Test exec time sec: 53.61

## 三、删除测试生成数据 ##

[hadoop@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-
    client-jobclient-3.1.3-tests.jar TestDFSIO -clean

## 四、使用Sort程序评测MapReduce ##

**（1）使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数**

[hadoop@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-
    examples-3.1.3.jar randomwriter random-data

**（2）执行Sort程序**

[hadoop@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-
    examples-3.1.3.jar sort random-data sorted-data

**（3）验证数据是否真正排好序了**

[hadoop@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-
    client-jobclient-3.1.3-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data

发表评论取消回复

表情：

评论列表（有 0 条评论，163人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop入门（六）：集群测试

文章目录一、上传文件到集群二、上传的文件存放位置 2.1 拼接 2.2 执行程序一、上传文件

港控/mmm°/ 2024年04月08日 13:34/ 0 赞/ 96 阅读

相关大数据：Hadoop集群测试

> 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 Hadoop集群测试通过UI界面查看Hadoop运行状态一、hadoop2和had

我不是女神ヾ/ 2024年03月30日 08:54/ 0 赞/ 104 阅读

相关 Hadoop：本地模式测试和集群模式测试

本地模式测试 1）创建在hadoop-3.1.3文件下面创建一个wcinput文件夹 mkdir wcinput 2）在wcinput文件下创建一个word.txt

桃扇骨/ 2024年03月17日 18:34/ 0 赞/ 68 阅读

相关 Linux查看Hadoop集群,Hadoop实战之Hadoop集群功能简单测试验证

前几天对Hadoop分布式集群的安装过程进行了总结，对hadoop的集群搭建只是学习hadoop中的艰难的一步，后面还需要学习更多的知识，不知道自己能不能坚持下去，不知道后面还

阳光穿透心脏的1/2处/ 2023年01月22日 05:50/ 0 赞/ 57 阅读

相关 Hadoop集群之吞吐能力测试

Hadoop集群之吞吐能力测试一、测试HDFS写性能测试内容：向HDFS集群写10个128M的文件 [hadoop@hadoop102 map

落日映苍穹つ/ 2022年12月27日 07:29/ 0 赞/ 164 阅读

相关 hadoop2集群安装和测试之demo测试

demo实现如下功能：对tomcat的访问日志，统计其客户端IP的访问次数。新建Map/Reduce Project ：hadoop-demo 在src目录下创建log

柔情只为你懂/ 2022年08月08日 20:58/ 0 赞/ 185 阅读

相关 hadoop2集群安装和测试之window开发环境

1、配置hadoop环境复制一份linux的安装配置好的hadoop放到Windows指定目录并配置环境变量 HADOOP\_HOME=E:\\hadoop\\

雨点打透心脏的1/2处/ 2022年08月08日 20:58/ 0 赞/ 157 阅读

相关 hadoop2集群安装和测试之软件安装配置

二、安装JDK 使用hadoop用户，下载jdk-7u79-linux-x64.gz到用户根目录 tar -zxvf jdk-7u79-linux-x64.gz

桃扇骨/ 2022年08月08日 20:58/ 0 赞/ 193 阅读

相关 hadoop2集群安装和测试之环境配置

通过配置hadoop2集群，一个namenode，多个datanode节点，并通过一个demo对Hadoop2尝试，这里不牵扯理论知识，想了解理论知识的，可以去百度。使用had

柔情只为你懂/ 2022年08月08日 20:30/ 0 赞/ 165 阅读

相关 hadoop集群HDFS集群之自动故障转移

1 自动故障转移原理前面学习了使用命令`hdfs haadmin -failover`手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现

旧城等待，/ 2022年06月05日 11:20/ 0 赞/ 804 阅读