3-2 wordcount执行流程 wordcount流程

叁歲伎倆 2022-08-20 05:13 240阅读 0赞

> mapper和reducer输入和输出都是以(key,value)形式的。
> 
> 在map和reduce之间进行了分组group，按照key2来分组，然后将v2放在一个集合中，作为一个value。
> 
> eg：<a,1><a,3>分为a<1,3>
> 
> 【shuffule非常重要，明天讲】
> 
> 如果我们想实现mapreduce模型，只需要重写map方法和reduce方法即可，适合各种业务。
> 
> ![Center][]

**![奋斗][struggle.gif]mapreduce执行过程：**

map任务： 【记住】

> 1.读取文件内容，一行内容解析成一个key,value【怎么做的？一会儿介绍】一个（key，value）对执行一次map函数方法
> 
> 2.在map里实现自己的业务逻辑，转换成新的key，value，然后输出
> 
> 3.对输入的key，value分区
> 
> 4.对不同分区的数据，排序分组。
> 
> 5. (可选)分组后的数据进行归约。  
> 
> 
> 一个inputspilt对应一个mapper【每个mapper只需要计算自己的数据】

**reduce任务：**

> 【此时已经完成了分区排序分组】
> 
> 1.到mapper里面取数据
> 
> 2.对多个map任务的输出，合并，排序，写reduce函数自己的业务逻辑，对输入的key，value进行处理，转换成新的key，value
> 
> 3.reduce的输出保存到文献中。

![生气][mad.gif]例子：先运行一个mapreduce

cd /itcast/hadoop-2.2.0/sbin/

> ./start-dfs.sh  
>

> 【HDFS】启动起来并不能运行mapreduce，还得启动Yarn 
> 
> ./start-yarn.sh 【记得hadoop2.0都保存在sbin里面】
> 
>   
> 
> 
> 打开centos，打开yarn之后，
> 
> cd /itcast/hadoop-2.2.0/share/hadoop/share/mapreduce/里面有words
> 
> 首先，我创建一个word文件，
> 
> 1.把文件上传到hdfs里:
> 
> hadoop fs -put words【这个是相对目录，我本地这个目录下正好有words，我就不同全部都写路径了】 /words.txt【这个是hdfs里的路径】
> 
> 之后检查一下是否写入 
> 
> hadoop fs -ls /
> 
> 成功之后运行mapreduce【找个jar包运行】：
> 
> hadoop jar 【接下来接jar所在的位置】hadoop-mapreduce-examples-2.2.0.jar wordcount 【然后接输入和输出】/words.txt /wcout
> 
> 运行时间十分漫长，之后等出现map100% reduce100%的时候，就可以了。

> > 打开ls看一看是否存在
> 
> ![20160125124550323][]
> 
> 发现wcout里面有一个part-r-00000【接口文件】，然后cat它看一眼，就能得到我们的Wordcount结果。接口文件中有单词出现的次数，wordcount计算相同的单词在文件中出现的次数
> 
> ![Center 1][]  
> 
> 
>   
> 
> 
>   
> 
> 
> **接下来分析一下Wordcount流程：（wordcount是hadoop入门级程序）**
> 
> ![20160125172252256][]

> key，value是以字符偏移的
> 
> **map阶段（一行解析成一个key,value。key偏移量为字符的偏移量）**
> 
> 一边解析【一个IO流把文件读取到内存】一边运行，一行一个map过程，解析一部分执行一部分。
> 
> 接下来，一个key,value执行一次map过程
> 
> map过程的伪代码【代码是不能运行的，只是用来描述代码执行的过程】如上。map方法，输入输出都是key，value。我的key是数字类型，但是对计算Wordcount没啥用。
> 
> ![20160125171757912][]

> 统计单词：（第6行）
> 
> key是k1，value是字符串，然后用split函数以空格作为分割，然后强for循环；context.write上下文，把他写出去相当于是map的输出，也是key,value，K1偏移量没用；每个输出的单词w，作为k2，【也就是输出key】，然后v2设置为1（单词出现一次记做一个1，好计数），然后最后可以根据key【k2】相加计算wordcount。

> **reduce阶段**
> 
> 【还记得上次说的，shuffle【mapreduce心脏，作用是数据的分区、排序、分组】，之后按照k2把value变成一个集合】
> 
> ![20160125172511100][]
> 
> 后面是一个集合\{1,1,1,1,1\}（hello出现了5次），不计数逻辑，不做加和，只是做一个数据的传递和分组。
> 
> 按照k2的默认字典顺序，已经排好序了【所以第一个是hello没说的，第二个是jerry而不是tom！】
> 
>   
> 
> 
> 以上是解析完成状态，接下来执行reduce方法
> 
> 在reduce方法里，我们这个业务，将对它进行记数【别的可能是求和等等】
> 
> ![20160125172840270][]

> 此时，v2s不是v2（变成了v2的集合），计算出次数。最后，把k2当做key，把counter当做value输出
> 
>   
> 
> 
>   
>

[Center]: /images/20220731/1e91fea2054d4acf8c31136266eaa18c.png
[struggle.gif]: /images/20220731/36c4d356c1d24027b39288e7f66a88f8.png
[mad.gif]: /images/20220731/1a1dc6ec3eb042cebda834af6dc4dc81.png
[20160125124550323]: /images/20220731/b74b002474e345e7ac3909379575a44a.png
[Center 1]: /images/20220731/0f4fd9933ad24f9399a8a0f42da3a405.png
[20160125172252256]: /images/20220731/cf25fb66375844b3854646e80f59516a.png
[20160125171757912]: /images/20220731/9dc6189c39e5476ab5677bf36200e4b6.png
[20160125172511100]: /images/20220731/db19b4a62dd0483888d768753ab5a5c6.png
[20160125172840270]: /images/20220731/4b9c3b4804f348d39433fd80d8421d1d.png