MapReduce实现SQL的原理

客官°小女子只卖身不卖艺 2022-01-30 03:07 307阅读 0赞

# MapReduce实现SQL的原理 #

对于常见的一条SQL分析语句，MapReduce如何编程实现？

SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age;

这是一条非常常见的SQL统计分析语句，统计不同年龄的用户访问不同网页的兴趣偏好，对于产品运营和设计很有价值。具体数据输入和执行结果请看下面的图示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdWxpbnNhbWE_size_16_color_FFFFFF_t_70]  
左边是要分析的数据表，右边是分析结果。实际上把左边表相同的行进行累计求和，就得到右边的表了，看起来跟WordCount的计算很相似。确实也是这样，我们看下这条SQL语句的MapReduce的计算过程，按照MapReduce编程模型，map和reduce函数的输入输出以及函数处理过程分别是什么。

首先，看下map函数的输入Key和Value，我们主要看Value。Value就是左边表中每一行的数据，比如<1, 25>这样。map函数的输出就是以输入的Value作为Key，Value统一设为1，比如<<1, 25>, 1>这样。

map函数的输出经过shuffle以后，相同的Key及其对应的Value被放在一起组成一个<Key, Value集合>，作为输入交给reduce函数处理。比如<<2, 25>, 1>被map函数输出两次，那么到了reduce这里，就变成输入<<2, 25>, <1, 1>>，这里的Key是<2, 25>，Value集合是<1, 1>。

在reduce函数内部，Value集合里所有的数字被相加，然后输出。所以reduce的输出就是<<2, 25>, 2>。

讲起来有点拗口，我把这个过程画成了一张图，看起来就清楚多了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdWxpbnNhbWE_size_16_color_FFFFFF_t_70 1]  
这样一条很有实用价值的SQL就被很简单的MapReduce计算过程处理好了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdWxpbnNhbWE_size_16_color_FFFFFF_t_70]: /images/20220130/5c163355b87d49598c8795fa506f221f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdWxpbnNhbWE_size_16_color_FFFFFF_t_70 1]: /images/20220130/31c3a5a0a2a441729cc14a94a819380e.png