大数据：Hadoop集群测试

我不是女神ヾ 2024-03-30 08:54 103阅读 0赞

> 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

#### Hadoop集群测试 ####

*  通过UI界面查看Hadoop运行状态
 *  一、hadoop2和hadoop3端口区别表
 *  2、查看HDFS集群状态
 *  查看YARN集群状态
 *  Hadoop集群初体验 —— 词频统计
 *   *  1、启动Hadoop集群
     *  2、在虚拟机上准备文件
     *  3、文件上传到HDFS指定目录
 *  4、运行词频统计程序的jar包
 *   *  5、在HDFS集群UI界面查看结果文件
     *  6、在YARN集群UI界面查看程序运行状态

--------------------

## 通过UI界面查看Hadoop运行状态 ##

`Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问：`

--------------------

## 一、hadoop2和hadoop3端口区别表 ##

![在这里插入图片描述][300db70531a44bd88c2ca52072a182dd.png]

## 2、查看HDFS集群状态 ##

在浏览器里访问 `http://master:9870`  
![在这里插入图片描述][8fbb9dfd1449467293bfe9797bbc72a9.png]

> 不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://浮动ip:9870  
> ![在这里插入图片描述][53754a924e734e5ab4c0aad74e0efbb7.png]

*  单击导航条上的【Datanodes】，查看数据节点信息  
    ![在这里插入图片描述][b81bcee505524d128e05f89b3d6cad21.png]
 *  访问slave1的数据节点（DataNode）  
    ![在这里插入图片描述][72f95eb320ff490a96175c05e72705f8.png]
 *  点开【Utilities - 实用工具】下拉菜单，选择【Browse the file system - 浏览文件系统】  
    ![在这里插入图片描述][e821f9acfb934556bc6a8eaa05fd4eac.png]
 *  此时HDFS上什么东东都木有  
    ![在这里插入图片描述][24a4201a0c77453f90df4ff4b2821ff0.png]
 *  在HDFS上创建一个目录BigData，既可以在WebUI上创建，也可以通过shell命令创建
 *  执行命令：hdfs dfs -mkdir /BigData  
    ![在这里插入图片描述][6c83d0b71d14481fab7e893448b2de73.png]
 *  在Hadoop WebUI界面查看刚才创建的目录  
    ![在这里插入图片描述][184649a042434467a3b782281857a098.png]
 *  单击【BigData】右边的删除按钮

![在这里插入图片描述][c52e4a5115054b8bada457e63acd5b22.png]

*  查看四个功能按钮

![在这里插入图片描述][5093af4137514378a79ac15d1aedff98.png]

*  在Hadoop WebUI界面里创建目录  
    ![在这里插入图片描述][c74dd4c0aa4e41529087a7ec70e1e0e5.png]

## 查看YARN集群状态 ##

*  访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常  
    ![在这里插入图片描述][42a4c7839aa444debdc78b5943a04da3.png]
 *  单击【About】链接  
    ![在这里插入图片描述][668fcb68a4e2498eb1f22feaba16bf47.png]

## Hadoop集群初体验 —— 词频统计 ##

### 1、启动Hadoop集群 ###

*  在master虚拟机上执行命令：start-all.sh  
    ![在这里插入图片描述][23cb2a9a40bb44f0810419dd94ec0cac.png]

### 2、在虚拟机上准备文件 ###

*  在master虚拟机上创建test.txt文件  
    ![在这里插入图片描述][942d0f053ac148598f7bc1cf4940b3b9.png]

### 3、文件上传到HDFS指定目录 ###

*  上传test.txt文件到HDFS的/BigData目录（如果没有就创建目录）  
    ![在这里插入图片描述][9396865e25104f51b4eeb1667db83698.png]
 *  利用HDFS命令查看文件是否上传成功  
    ![在这里插入图片描述][d641c8f75e4746e6bef74e73fff818e9.png]
 *  利用Hadoop WebUI查看文件是否上传成功  
    ![在这里插入图片描述][c9b9650df6104cad8068da99970413c7.png]

## 4、运行词频统计程序的jar包 ##

*  查看Hadoop自带示例的jar包  
    ![在这里插入图片描述][374212ad29564a10b4809f0fc29407aa.png]
 *  执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount  
    /BigData/test.txt /wc\_result  
    ![在这里插入图片描述][1f17b766e0a84c78931d997fbd788f61.png]
 *  说明：作业编号 - job\_1668566449679\_0001，读取90个字节，写入60个字节
 *  查看输出目录/wc\_result，执行命令：hdfs dfs -ls /wc\_result  
    ![在这里插入图片描述][ee08bae0e9794364b9ea098c3ac2e992.png]
 *  查看词频统计结果，执行命令：hdfs dfs -cat /wc\_result/\*  
    ![在这里插入图片描述][5d5249910bd1489c89dccc4b783fd80b.png]

### 5、在HDFS集群UI界面查看结果文件 ###

*  在HDFS集群UI界面，查看/wc\_result目录  
    ![在这里插入图片描述][c062225e334c4d60b38651a9423b788b.png]
 *  下载可查看  
    ![在这里插入图片描述][c1e3914d237b470094256a5e6579f8f8.png]

### 6、在YARN集群UI界面查看程序运行状态 ###

*  访问http://master:8088，看到FINISHED和SUCCEEDED  
    ![在这里插入图片描述][cb0ad27013a543c7acf06fc1e7785010.png]
 *  单击应用标识application\_1668566449679\_0001（注意：每次运行同一个应用，应用标识会发生变化），查看应用的运行详情

![在这里插入图片描述][a21228e21b7b4c15b5053ee5a5dee761.png]

[300db70531a44bd88c2ca52072a182dd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/34148ed1ddb8485d9e1c6edad27e3381.png
[8fbb9dfd1449467293bfe9797bbc72a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/925cf4b95bdf4e6ab7ec1e60b7fb4ba0.png
[53754a924e734e5ab4c0aad74e0efbb7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6ca4ec466979455398d26363b3a48000.png
[b81bcee505524d128e05f89b3d6cad21.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/927707a6b9854e8e93cb7ba1ae8e5550.png
[72f95eb320ff490a96175c05e72705f8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1d5f8f5c94534429be372ff59938ac06.png
[e821f9acfb934556bc6a8eaa05fd4eac.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/bb06400beef24029bd9a2f3a235107c2.png
[24a4201a0c77453f90df4ff4b2821ff0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/628dcd0000254819a8dd0311fccc7abe.png
[6c83d0b71d14481fab7e893448b2de73.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/58cd99f35cf845989b1dc0d842f38fe8.png
[184649a042434467a3b782281857a098.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/af1cddc21f10494ebeb8bd117888d126.png
[c52e4a5115054b8bada457e63acd5b22.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7630976bd269431fa35fa5f709caa8fb.png
[5093af4137514378a79ac15d1aedff98.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7ef582ff320b4ce780a0e757e9685e60.png
[c74dd4c0aa4e41529087a7ec70e1e0e5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d722823ea2cf40a1a58d7035b894201b.png
[42a4c7839aa444debdc78b5943a04da3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9b1c352ad5e84ac3b1bf6b71c827bc41.png
[668fcb68a4e2498eb1f22feaba16bf47.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/763335db9543455ab30697867c126f21.png
[23cb2a9a40bb44f0810419dd94ec0cac.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/df5cd334bae84e5d804afa2c46d41907.png
[942d0f053ac148598f7bc1cf4940b3b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/214e281a5215435ba9b04c4b8d414443.png
[9396865e25104f51b4eeb1667db83698.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/398dc88ade05495c9771d52d116bc393.png
[d641c8f75e4746e6bef74e73fff818e9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3e173dd9a67240ef81777236765f946f.png
[c9b9650df6104cad8068da99970413c7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/203d7f45697544e8b5a68f251cafc5fd.png
[374212ad29564a10b4809f0fc29407aa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/49e14af6aaa147c5a2d53c7305cbf828.png
[1f17b766e0a84c78931d997fbd788f61.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c2e3a1a30b6d46a3b0bdb1fd62a29825.png
[ee08bae0e9794364b9ea098c3ac2e992.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/45ac46ad7aa3457c8e0e1aa0a8991bb7.png
[5d5249910bd1489c89dccc4b783fd80b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9cf3f907a4564d8ab3f8fb7abca03952.png
[c062225e334c4d60b38651a9423b788b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7cbea67e84974c7da7066ccc962ccfc7.png
[c1e3914d237b470094256a5e6579f8f8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/0ab2502369574956adf2244611e4fade.png
[cb0ad27013a543c7acf06fc1e7785010.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/73683bde26b84edd9a36ce919f33ff50.png
[a21228e21b7b4c15b5053ee5a5dee761.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/595983c0ad054c5f863daa91b84ab308.png