图解MapReduce各种join的使用

「爱情、让人受尽委屈。」 2022-06-06 04:22 294阅读 0赞

1、Reduce side join：在reduce端进行连接

[![image][]][image 1]

2、半连接：在map端将数据过滤，降低数据量，在reduce端连接

[![image][image 2]][image_image 2]

3、Map side join：在map端进行join

[![image][image 3]][image_image 3]

4、二次排序

基本原理是将key和部分value拼接成一个组合key（实现WritableComparable接口或者调用setSortComparatorClass函数），这样reduce获取的结果便是先按key排序，后按value排序的结果，需要注意的是，用户需要自己实现Paritioner，以便只按照key进行数据划分。Hadoop显式的支持二次排序

5、reduce side join + BloomFilter

在某些情况下，SemiJoin抽取出来的小表的key集合在内存中仍然存放不下，这时候可以使用BloomFiler以节省空间。

BloomFilter最常见的作用是：判断某个元素是否在一个集合里面。它最重要的两个方法是：add() 和contains()。最大的特点是不会存在 false negative，即：如果contains()返回false，则该元素一定不在集合中，但会存在一定的 false positive，即：如果contains()返回true，则该元素一定可能在集合中。

因而可将小表中的key保存到BloomFilter中，在map阶段过滤大表，可能有一些不在小表中的记录没有过滤掉（但是在小表中的记录一定不会过滤掉），这没关系，只不过增加了少量的网络IO而已。

更多关于BloomFilter的介绍，可参考：http://blog.csdn.net/jiaomeng/article/details/1495500

[image]: /images/20220606/524b6dbcfc9c465c9f9d858d2a388067.png
[image 1]: https://img-blog.csdn.net/20171030142603007
[image 2]: https://img-blog.csdn.net/20171030142605881
[image_image 2]: /images/20220606/4845adaf5cbb4ebcad90c7af68a0dca4.png
[image 3]: https://img-blog.csdn.net/20171030142607057
[image_image 3]: /images/20220606/c05e1942341e43b399c499e3768985d9.png