hadoop-wordcount本地模式及集群模式运行

傷城~ 2022-02-26 11:36 280阅读 0赞

## 前言 ##

上一篇文章，我们利用3台云服务器搭建了一个Hadoop集群，并通过hadoop -jar命令运行了Hadoop自带的一个wordcount例子，那本片文章就通过实现一个wordcount程序，并在本地模式下运行这个程序，了解一下mapreduce编码规范，最后 再将这个jar包提交到真正的集群上运行。

## Hadoop maven依赖 ##

本想使用springboot集成的hadoop，但是发现其版本最高只集成到Hadoop2.7.3，于是乎，不适用spring boot，直接使用hadoop2.9.2的包。maven依赖如下：

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.14</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.8.2</version>
        </dependency>
    </dependencies>

## Hadoop本地（windows环境）运行依赖 ##

由于是本地模式运行，所以需要导入windows下的hadoop.dll和winutils.exe，否则将会抱错`java.lang.UnsatisfiedLinkError`：

![image-ed1c0a15-0012-446f-808a-56baa1ea36f1][]

各个版本的hadoop.dll以及winutils.exe下载地址：

[https://download.csdn.net/download/wxgxgp/11072195][https_download.csdn.net_download_wxgxgp_11072195]

（CSDN资源默认需要积分，若没有积分，请在[我的博客-留言板][-]留下邮箱，将邮件发送。）

![image-ed0b1176-4fd6-4a91-af81-aa5377f738bd][]

当然你也可以去github下载(这里并不包含2.9.2版本)：

[https://github.com/4ttty/winutils][https_github.com_4ttty_winutils]

## 编写MapReduce程序 ##

由于之前对storm有所研究，所以，这次理解mapreduce还是较为容易的，关于mapreduce的原理以及解释本人不在重复造轮子，详情请看下方链接：

[MapReduce工作流程最详细解释][MapReduce]

以下内容只是从代码层面说明mapreduce注意的一些问题。

### Map阶段 ###

public class MapperTest extends Mapper<Object, Text, Text, IntWritable> {
    
        @Override
        protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String[] words = value.toString().split(" ");
            for(String word : words){
                context.write(new Text(word),new IntWritable(1));
            }
        }
    }

继承Mapper类即可。注意泛型参数格式为<输入key类型，输入value类型，输出key类型，输出value类型>

注意输入类型一般是文件中每一行首的偏移量。

这个程序只能统计英文单词个数，但无法统计中文词语个数，因为英文单词之间有空格分割，而中文则没有，因此若需要统计中文词语，则需要先进行分词处理，而这就属于nlp的范围了。

### Reduce阶段 ###

public class ReduceTest extends Reducer<Text, IntWritable, Text, IntWritable> {
    
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }

同样的只需要继承Reducer类即可，泛型参数格式为<输入key类型，输入value类型，输出key类型，输出value类型>，注意这里的输入key和value的类型要和map阶段输出的key和value的类型一致。

整个map-reduce从代码层面看起来很简单，就是把单词根据空格分割，然后写入到contex，然后在根据相同的单词进行一个累加计数的汇总，其实更多的是Hadoop框架为我们做了大量的事情。

### 编写主类 ###

public class WordCount {
        public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
            if (args == null || args.length == 0) {
                args = new String[2];
                args[0] = "E:/hadoop/input/test.txt";
                args[1] = "E:/hadoop/output";
            }
            Configuration configuration = new Configuration();
    
            Job job = Job.getInstance(configuration);
            job.setJarByClass(WordCount.class);
    
            job.setMapperClass(MapperTest.class);
            job.setReducerClass(ReduceTest.class);
    
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
    
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
    
            Path inputPath = new Path(args[0]);
            Path outputPath = new Path(args[1]);
    		//自动删除已存在的目录
            outputPath.getFileSystem(configuration).delete(outputPath, true);
            FileInputFormat.setInputPaths(job,inputPath);
            FileOutputFormat.setOutputPath(job,outputPath);
            boolean wait = job.waitForCompletion(true);
    
            System.exit(wait?0:1);
        }
    }

运行一下：

![image-cb1c4a49-f3a8-44af-8feb-c8d743c4bb8c][]

## 提交到集群运行 ##

### 打包jar ###

因为使用的是maven，所以就用maven打包jar了。

需要注意的是：

要在pom.xml中添加打包类型：

添加主类：

<plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <configuration>
            <archive>
                <manifest>
                    <mainClass>test.WordCount</mainClass>
                    <addClasspath>true</addClasspath>
                </manifest>
            </archive>
        </configuration>
    </plugin>

不添加主类则提交到集群后会出现找不到主类的错误。

### 提交到集群 ###

将jar包上传到服务器上，执行命令：

hadoop jar hadooptest-1.0-SNAPSHOT.jar /test/input /test/output

(注意这里的路径修改为自己的，hadooptest-1.0-SNAPSHOT.jar为打包后的jar包名称，若没有在程序里设置job名称，则会默认一jar包名称作为job名称)

其中/test/input下有一个文件text.txt，其内容如下：

哈哈哈哈
    a
    adad
    adads 
    asdddqwd
    asda
    adds
    13
    132
    132
    a

![image-c6b6ee63-9586-44fb-87ef-2d2badbb6776][]

我们也可以在web界面上看到执行情况：

![image-ba70ff09-e7f8-43bc-a28c-865a69212ee7][]

最后我们在web界面查看一下结果：

![image-cc475951-e7f7-4ed2-a22f-d4815cedec97][]

表明集群上运行成功。

[image-ed1c0a15-0012-446f-808a-56baa1ea36f1]: http://file.yao2san.com/image-ed1c0a15-0012-446f-808a-56baa1ea36f1?
[https_download.csdn.net_download_wxgxgp_11072195]: https://download.csdn.net/download/wxgxgp/11072195
[-]: https://yao2san.com/gbook
[image-ed0b1176-4fd6-4a91-af81-aa5377f738bd]: http://file.yao2san.com/image-ed0b1176-4fd6-4a91-af81-aa5377f738bd?
[https_github.com_4ttty_winutils]: https://github.com/4ttty/winutils
[MapReduce]: https://www.jianshu.com/p/461f86936972
[image-cb1c4a49-f3a8-44af-8feb-c8d743c4bb8c]: http://file.yao2san.com/image-cb1c4a49-f3a8-44af-8feb-c8d743c4bb8c?
[image-c6b6ee63-9586-44fb-87ef-2d2badbb6776]: http://file.yao2san.com/image-c6b6ee63-9586-44fb-87ef-2d2badbb6776?
[image-ba70ff09-e7f8-43bc-a28c-865a69212ee7]: http://file.yao2san.com/image-ba70ff09-e7f8-43bc-a28c-865a69212ee7?
[image-cc475951-e7f7-4ed2-a22f-d4815cedec97]: http://file.yao2san.com/image-cc475951-e7f7-4ed2-a22f-d4815cedec97?