hadoop MapReduce初试遇到的问题

蔚落 2022-06-13 07:44 442阅读 0赞

hadoop MapReduce初试遇到的问题

**./hadoop jar ./MapReduce-jar-with-dependencies.jar com.hc360.mp.WordCountHbaseReader /user/hbase/tabelname01 tablename**

在hadoop集群上执行 MapReduce任务时，需要用到许多依赖jar，一般情况下都是在执行时，在执行命令上进行配置指定，这样会造成执行命令太长，并且容易出错，有时还想带几个参数信息，这样更容易出错；

比较好的处理方法是，在生成运行jar时，将需要的依赖jar打包到运行jar中，这样在执行时所有依赖的jar都有了，就不用指定了。

**./hdfs dfs -rmr /user/hbase/**

hdfs上已有的文件不能进行覆盖，生成文件时必须是没有的新文件，可以在产生文件前执行以上命令清除已有的文件：

**16/07/19 18:26:08 INFO ipc.Client: Retrying connect to server: xxxx/192.168.xx.xx:8032. Already tried 4 time(s); retry policy is etryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)**

hadoop集群上，如果没有启动 yarn（MapReduce），当运行MapReduce任务时，会提示上面的信息；

当执行hadoop的shell命令时，如果提示类似上面的信息，可以查看是否启动了hadoop进程。

**java.lang.IllegalArgumentException: Does not contain a valid host:port authority:**

**java.net.UnknownHostException**

hadoop集群的hostname配置，主机名不要包含下划线“\_”，但可以有横线“-”。

在hadoop集群中每个机器都要配置集群所有机器的hostname域名，以便相互访问。

这里分享一个血的教训，在给hostname起名字的时候一定要注意，虽然linux支持一些特殊字符，但java里面并不支持，所以hostname的命名一定要使用数字和字母（以点号分隔）。如果起的hostname包含了特殊字符下划线，导致hadoop运行时候的reduce阶段出错。

发表评论取消回复

表情：

评论列表（有 0 条评论，442人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop的MapReduce

文章目录介绍工作原理编程规范 InputFormat数据输入切片：

「爱情、让人受尽委屈。」/ 2023年05月22日 05:59/ 0 赞/ 79 阅读

相关 Hadoop之MapReduce

![Center][] 摘要：MapReduce是Hadoop的又一核心模块，从MapReduce是什么，MapReduce能做什么以及MapReduce的工作机制三方面认识

缺乏、安全感/ 2022年08月26日 00:41/ 0 赞/ 261 阅读

相关 hadoop中遇到的一些问题

1、在hdfs中创建文件夹时 hadoop fs -mkdir testdata 错误提示：No such file or directory 解决方

ゝ一纸荒年。/ 2022年07月24日 09:28/ 0 赞/ 340 阅读

相关 Hadoop之MapReduce

MapReduce: 任务切分 ---->统计---->交换---->再次合并--->排序 map task 和 reduce task Job&task Jo

落日映苍穹つ/ 2022年07月13日 12:47/ 0 赞/ 272 阅读

相关 MapReduce运行中遇到的问题

1：运行mapreduce任务任务过程中，出现下面现象,为啥？ TaskAttempt killed because it ran on unusable nodeh

悠悠/ 2022年06月16日 14:22/ 0 赞/ 336 阅读

相关 hadoop MapReduce初试遇到的问题

hadoop MapReduce初试遇到的问题 ./hadoop jar ./MapReduce-jar-with-dependencies.jar com.hc3

蔚落/ 2022年06月13日 07:44/ 0 赞/ 443 阅读

相关 Hadoop MapReduce简介

MapReduce分布式并行计算框架是一种可用于数据处理的编程模型，可运行由个中语言编写的MapReduce程序：java、Ruby、Python、R、C++等语言。它用于处理

待我称王封你为后i/ 2022年05月27日 04:17/ 0 赞/ 307 阅读

相关 Hadoop MapReduce框架

参考资料： hadoop 学习笔记：mapreduce框架详解：www.cnblogs.com/sharpxiajun/p/3151395.html MR框架结构：http

布满荆棘的人生/ 2022年05月21日 04:07/ 0 赞/ 256 阅读

相关 hadoop的mapreduce详解

链接：[https://www.cnblogs.com/zhuxiaojie/p/7224772.html\autoid-2-0-0][https_www.cnblogs.co

￡神魔★判官ぃ/ 2022年02月02日 00:25/ 0 赞/ 262 阅读

相关 Hadoop MapReduce

一、简介一种分布式的计算方式指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享

我会带着你远行/ 2021年10月14日 16:51/ 0 赞/ 445 阅读