map-reduce（job提交过程，远程调试)

亦凉 2022-05-10 01:44 203阅读 0赞

1.  mapreduce 的job远程调试
2.  mapreduce的job提交、运行过程

--------------------

# part1:  mapreduce 的远程调试 #

继续上一篇博客的 [map-reduce实现map端join][map-reduce_map_join]， 部署到集群后如何调试？

## 第一步：server端配置（hadoop文件） ##

1,  要打包项目module为jar包, 上传到hdsf (此处我使用ubuntu , jar包放在家目录下)，

2,  再配置hadoop启动参数， 使用命令查看hadoop所在文件

![70][]

编辑该文件, 再文件头部分添加参数

vim /soft/hadoop2.7/bin/hadoop
    #添加配置参数： 指定调试端口为8888
    export  HADOOP_CLIENT_OPTS="agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8888"

3,（上传作业的文件： 用户和订单数据文件到/mrjoin-src/mrjoin目录， 指定输出目录/mrjoin-out）运行jar包

hadoop jar a1-1.0-SNAPSHOT.jar join.mapjoin.App1 /mrjoin-src/mrjoin /mrjoin-out -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,port=8888

## 第二步： client端配置 ##

1，打开idea, 添加Remote配置

![70 1][]

2，在程序中打断点， 选择配置好的Remote, 点击debug

![70 2][]

[map-reduce_map_join]: https://blog.csdn.net/eyeofeagle/article/details/82826747
[70]: /images/20220510/80d21adc8025444ea2108470406822e7.png
[70 1]: /images/20220510/3180d1f22b834adb91b75488c1a44feb.png
[70 2]: /images/20220510/cf379edc1a39434cafaf1ca9df991be8.png

发表评论取消回复

表情：

评论列表（有 0 条评论，203人围观）

还没有评论，来说两句吧...

相关阅读

相关远程调试

考来自：[https://blog.csdn.net/fm0517/article/details/50405206][https_blog.csdn.net_fm051...

刺骨的言语ヽ痛彻心扉/ 2024年04月18日 11:51/ 0 赞/ 91 阅读

相关手机浏览器远程调试_如何调试远程浏览器

手机浏览器远程调试 It's super frustrating when bugs pop up only in a remote browser. Something a

红太狼/ 2023年02月21日 14:29/ 0 赞/ 25 阅读

相关 servicemix远程调试

[ServiceMix][]是一个建立在JBI (JSR 208)语法规则和APIs上的开源ESB(Enterprise Service Bus:企业服务总线)。它包括一个完

缺乏、安全感/ 2022年06月03日 02:23/ 0 赞/ 292 阅读

相关 map-reduce（job提交过程，远程调试)

1. mapreduce 的job远程调试 2. mapreduce的job提交、运行过程 -------------------- part1: mapreduc

亦凉/ 2022年05月10日 01:44/ 0 赞/ 204 阅读

相关 java远程调试

1.调试java程序 1.1.远程程序启动设置 java -jar 启动参数 xxx.jar ，注意启动参数位置（在-jar之后，要启动的jar包之前），其中500

桃扇骨/ 2022年04月02日 07:59/ 0 赞/ 342 阅读

相关 Pycharm远程调试

http://blog.csdn.net/duankaifei/article/details/41898641 1、写在前面之前一致用putty，ssh，修改代码，

清疚/ 2022年03月28日 02:28/ 0 赞/ 635 阅读

相关 Eclipse远程调试

Eclipse远程调试更多文章欢迎访问个人博客 [www.herobin.top][] 项目现在部署在服务器上，我们想要通过本地Eclipse来远程调试在服务器

冷不防/ 2022年03月20日 21:17/ 0 赞/ 809 阅读

相关 SpringBoot 远程发布远程调试

提前说下，WebFlux玩不起来，或者说没找到方法远程发布加上依赖 <dependency> <groupId>org.springfra

深藏阁楼爱情的钟/ 2022年03月20日 06:20/ 0 赞/ 314 阅读

相关远程调试

虚拟机关闭防火墙（ping 不通问题）： XP：net stop sharedaccess Vista：netsh firewall set opmode disable

﹏ヽ暗。殇╰゛Y/ 2022年01月23日 06:47/ 0 赞/ 365 阅读

相关 SpringBoot 远程调试

在配合 QA 进行代码测试，以及处理线上 BUG 时，代码往往已经被部署于服务器端，因此服务器端程序支持远程调试功能就尤为重要。 Java 原生支持调试功能，由于实际开发中使

太过爱你忘了你带给我的痛/ 2022年01月23日 04:37/ 0 赞/ 382 阅读