（2）Hadoop笔记：hadoop-eclipse-plugin插件的安装和mapReduce小栗子

迈不过友情╰ 2022-05-28 10:29 263阅读 0赞

注：  
1.eclipse所在环境为windows  
2.hadoop版本2.8.3  
3.hadoop-eclipse-plugin版本2.8.3  
4.eclipse版本Luna Service Release 1 (4.4.1)  
5.JDK 1.7

*  插件安装

hadoop-eclipse-plugin编译  
因为我本地使用的JDK为1.7，而现在网上能找到的hadoop-eclipse-plugin-2.8.3都是基于JDK1.8编译的，所以都不能使用，因此需要下载hadoop-eclipse-plugin的源码然后在本地编译，过程中需要Hadoop-2.8.3的支持。当然如果你能找到符合自己环境的插件包，这步就可以跳过了。  
[Hadoop-2.8.3.tar.gz][]  
[hadoop2x-eclipse-plugin][] （github托管的源码）  
[apache-ant-1.9.11-bin.zip][]  
下载完后解压apache-ant-1.9.11-bin.zip，并配置环境变量。  
新建ANT\_HOME=E:apache-ant-1.9.4  
在PATH后面加;%ANT\_HOME%\\bin  
测试下

ant -version

![这里写图片描述][70]

解压Hadoop-2.8.3.tar.gz，hadoop2x-eclipse-plugin  
编辑E:\\hadoop2x-eclipse-plugin-master\\src\\contrib\\eclipse-plugin\\build.xml  
添加下图红框中的部分，3项代表的意思应该都懂，就不多说了。  
![这里写图片描述][70 1]

然后往下翻能发现有一堆这个东西，之后编译时大概会出错的地方。先打开放在这，不用修改。①  
![这里写图片描述][70 2]

然后编辑E:\\hadoop2x-eclipse-plugin-master\\ivy\\libraries.properties.xml  
一般来讲只要修改下红框中的版本即可，然后这里有一大堆版本，而上面①图中那些都是在引用这里的版本。这里的版本又对应着Hadoop-2.8.3中的资源。在编译时可能会出现这里写的版本和Hadoop实际用的版本不一样导致找不到jar包的报错，这时就可以根据报错信息来修改下方的版本号，使得符合实际。基本都在$\{hadoop.home\}/share/hadoop/common/lib文件夹中  
![这里写图片描述][70 3]

进入hadoop2x-eclipse-plugin-master\\src\\contrib\\eclipse-plugin目录，运行cmd命令行

ant jar

编译完成，遇到错误就根据提示修改，最大可能遇到的就是我上面提到的问题，还有当编译时长时间卡在ivy-resolve-common: 处时，大概率已经编译失败。  
![这里写图片描述][70 4]

编译完成后的文件在  
hadoop2x-eclipse-plugin-master\\build\\contrib\\eclipse-plugin文件夹中  
![这里写图片描述][70 5]

将jar包放入eclipse/plugins文件夹中，重启eclipse  
可以看到如下图标  
![这里写图片描述][70 6]  
添加  
window->show view->other  
![这里写图片描述][70 7]

配置连接，如下图所示，随便取个名字就行  
![这里写图片描述][70 8]

然后如果连接成功的话就如下图所示，这里刚新搭建的Hadoop环境的话应该一开始就是空的，所以可能会抛空指针异常，没什么影响的，直接新建东西就行。  
![这里写图片描述][70 9]

![这里写图片描述][70 10]

新建后需要刷新一下，同时可以访问[http://xx.xx.xx.xx:50070/explorer.html\#/][http_xx.xx.xx.xx_50070_explorer.html]网址查看是否真的新建了。  
![这里写图片描述][70 11]

通过这个我们可以轻松快捷的将文件上传给Hadoop文件系统，方便本地调试。

window->preferences，选择Hadoop文件，这里主要目的是可以直接引用相关jar包  
![这里写图片描述][70 12]

*  使用例子，单词计数  
    首先需要下载hadoop.dll，这个网上找找对应版本的吧，我用的是2.X的，放在C/windows/System32下。

File->New->other  
next，填写名字，finish  
![这里写图片描述][70 13]

![这里写图片描述][70 14]

新建4个文件  
![这里写图片描述][70 15]  
WordCountMapper.java

package com.hadoop.demo;
    
    import java.io.IOException;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Mapper;
    
    /* * KEYIN：输入kv数据对中key的数据类型 * VALUEIN：输入kv数据对中value的数据类型 * KEYOUT：输出kv数据对中key的数据类型 * VALUEOUT：输出kv数据对中value的数据类型 */
    public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ 
    
        /* * map方法是提供给map task进程来调用的，map task进程是每读取一行文本来调用一次我们自定义的map方法 * map task在调用map方法时，传递的参数： * 一行的起始偏移量LongWritable作为key * 一行的文本内容Text作为value */
        @Override
        protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {
            //拿到一行文本内容，转换成String 类型
            String line = value.toString();
            //将这行文本切分成单词
            String[] words=line.split(" ");
    
            //输出<单词，1>
            for(String word:words){
                context.write(new Text(word), new IntWritable(1));
            }
        }
    }

WordCountReducer.java

package com.hadoop.demo;
    
    import java.io.IOException;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Reducer;
    
    /* * KEYIN：对应mapper阶段输出的key类型 * VALUEIN：对应mapper阶段输出的value类型 * KEYOUT：reduce处理完之后输出的结果kv对中key的类型 * VALUEOUT：reduce处理完之后输出的结果kv对中value的类型 */
    public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{ 
        @Override
        /* * reduce方法提供给reduce task进程来调用 * * reduce task会将shuffle阶段分发过来的大量kv数据对进行聚合，聚合的机制是相同key的kv对聚合为一组 * 然后reduce task对每一组聚合kv调用一次我们自定义的reduce方法 * 比如：<hello,1><hello,1><hello,1><tom,1><tom,1><tom,1> * hello组会调用一次reduce方法进行处理，tom组也会调用一次reduce方法进行处理 * 调用时传递的参数： * key：一组kv中的key * values：一组kv中所有value的迭代器 */
        protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
            //定义一个计数器
            int count = 0;
            //通过value这个迭代器，遍历这一组kv中所有的value，进行累加
            for(IntWritable value:values){
                count+=value.get();
            }
    
            //输出这个单词的统计结果
            context.write(key, new IntWritable(count));
        }
    }

WordCountJobSubmitter.java

package com.hadoop.demo;
    
    import java.io.IOException;
    import java.util.Date;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    public class WordCountJobSubmitter {
    
        public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
            Configuration conf = new Configuration();
            Job wordCountJob = Job.getInstance(conf);
    
            //重要：指定本job所在的jar包
            wordCountJob.setJarByClass(WordCountJobSubmitter.class);
    
            //设置wordCountJob所用的mapper逻辑类为哪个类
            wordCountJob.setMapperClass(WordCountMapper.class);
            //设置wordCountJob所用的reducer逻辑类为哪个类
            wordCountJob.setReducerClass(WordCountReducer.class);
    
            //设置map阶段输出的kv数据类型
            wordCountJob.setMapOutputKeyClass(Text.class);
            wordCountJob.setMapOutputValueClass(IntWritable.class);
    
            //设置最终输出的kv数据类型
            wordCountJob.setOutputKeyClass(Text.class);
            wordCountJob.setOutputValueClass(IntWritable.class);
    
            Long fileName = (new Date()).getTime();
    
            //设置要处理的文本数据所存放的路径
            FileInputFormat.setInputPaths(wordCountJob, "hdfs://xx.xx.xx.xx:9002/test/1.data");
            FileOutputFormat.setOutputPath(wordCountJob, new Path("hdfs://xx.xx.xx.xx:9002/test/"+fileName));
    
            //提交job给hadoop集群
            wordCountJob.waitForCompletion(true);
        }
    }

log4j.properties

log4j.rootLogger=INFO, stdout
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
    log4j.appender.logfile=org.apache.log4j.FileAppender
    log4j.appender.logfile.File=target/spring.log
    log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
    log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

然后准备下1.data的数据（就是个txt编辑后修改后缀为data的文件），将该文件通过DFS上传

hello tom
    hello jim
    how are you
    i love you
    i miss you
    i love you

![这里写图片描述][70 16]

因为我这里放的路径是test下，实际使用时请在WordCountJobSubmitter .java中替换为自己的路径和文件名。

运行，选中WordCountJobSubmitter.java（有main函数的），右键run as ->run configurations。hdfs第一行为输入，第二行为输出  
![这里写图片描述][70 17]

运行，可以看见生成了新的文件，点击查看，可以看到单词计数的结果了。  
![这里写图片描述][70 18]

因为大部分都是根据记忆写的，所以过程中如果出现错误，望指正 \_ (:з」∠\*)\_。

[Hadoop-2.8.3.tar.gz]: http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.8.3/hadoop-2.8.3.tar.gz
[hadoop2x-eclipse-plugin]: https://github.com/winghc/hadoop2x-eclipse-plugin/
[apache-ant-1.9.11-bin.zip]: http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant-1.9.11-bin.zip
[70]: /images/20220528/588b814a20bb4ce190f0a17001049a69.png
[70 1]: /images/20220528/75f410d6fd8345d8aaea5365c7a66cbe.png
[70 2]: /images/20220528/2fec4bd0fac143e7a2aee8c258776134.png
[70 3]: /images/20220528/6c83e5ab0b824025a98a7064003d3eb1.png
[70 4]: /images/20220528/aaa251239fb246c682d6dff767940bc7.png
[70 5]: /images/20220528/e8202a2708b34aada1c09a3c0aaf52a6.png
[70 6]: /images/20220528/bec77cdb91214ba19b510f95d72a18a1.png
[70 7]: /images/20220528/056b363e47764005a55c7f1a7742f7ee.png
[70 8]: /images/20220528/afb2bfdb637a47cf8c5abb360a514f9c.png
[70 9]: /images/20220528/f6e339ad7b0745e2a02fa264836f3b04.png
[70 10]: /images/20220528/bedc7a3d33f54d329329f1d93f83e2e1.png
[http_xx.xx.xx.xx_50070_explorer.html]: http://xx.xx.xx.xx:50070/explorer.html#/
[70 11]: /images/20220528/5f8686030a4b4296ba166e3a827455e1.png
[70 12]: /images/20220528/7e4b6765d7b041a9b97cc5722474aa18.png
[70 13]: /images/20220528/3ae8f22903a04e228bb89bc03c4cd8d7.png
[70 14]: /images/20220528/d7f6b7ca5594487f87ee0a2f8ff773b6.png
[70 15]: /images/20220528/ca5263033a6449d7818eeede5a3e7f1f.png
[70 16]: /images/20220528/f609756946714c72ac67fd99d369b59a.png
[70 17]: /images/20220528/f7e161ca2e6b403c9d3beddcaf319f78.png
[70 18]: /images/20220528/d9cb456be68e42d7a5f3fc1d59575e44.png