Spark+Hbase 读取分片数据、深挖原理

- 日理万妓 2022-11-01 05:58 221阅读 0赞

> **大猪** 见很多文章都写了`Hbase`如何设计`rowkey`避免热点问题，就连 **大猪** 的文章也写过这样的优化，但是只说到了优化的点上，那如何读取呢？刚才就有一位老朋友跟我说他的方案，他是做了16个预分区，然后就把16个分区的数据使用spark的union起来，组成16个RDD，牛批的孩子，看到他这么干，我得写篇文章出来探讨一下这个问题了。

## Rowkey设计 ##

在设计Hbase的rowkey的时候，我们往往会在高位上设置加上数字或者是Hash用来打散数据，特别是日志数据。  
举个例子:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70][]

![uploading.4e448015.gif][]转存失败重新上传取消

假设有8台RS，表创建的时候就要使用预分区，就像下面一样创建表。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 1][]

![uploading.4e448015.gif][]转存失败重新上传取消

实际的表生成rowkey范围就会像下面这样：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 2][]

![uploading.4e448015.gif][]转存失败重新上传取消

上面我们的三条就会根据rowkey前2个位自动选择分区  
这样就达到打散的效果，热点问题就不会产生了。

**但是：**我们如何同一分钟的数据会打到不同的分区，我们不能预先知道数据在哪些分区，通过一个Scan是查不完的，必要把所有分区都查下遍，才知道分区中有没有我们想的数据。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 3][]

![uploading.4e448015.gif][]转存失败重新上传取消

Hbase给我们的 **TableInputFormat** API里面只有设置`start`跟`end`,那让我怎么去读取这些分区的数据？

我的那个老朋友的做法我已经猜到了他是怎么玩的了，因为他预分区是16个，就是0~f，也就是他去按照分区加start跟end去scan16次，每次得到一个RDD,再union起来就是他要的数据结果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 4][]

![uploading.4e448015.gif][]转存失败重新上传取消

大概就是这样写，unionRdd是最后合成的一个大RDD，后面用来计算。  
其实我的老朋友这样写其实也是可以的。我只想说，你真会玩。

![20210224112321482.png][]

![uploading.4e448015.gif][]转存失败重新上传取消

不知道union在spark上，是会产生shuffle操作的么？

## 源码分析 ##

来来来，我们来看一下TableInputFormat的源码到底是怎么处理读取Hbase的分区数据的:  
我们看`TableInputFormat`类中，从`getSplits` => `oneInputSplitPerRegion` => 挖出这个方法

1.  其实从前三句就可以看出来了，通admin去拿到hbase表的所有分片信息。  
    返回的多个`InputSplit`对应上的就是Spark的多个分区，如果有Hbase16个分片就会有16个分区。

我们可以从`NewHadoopRDD`类中的`getPartitions`挖出来确实是这样子的：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 5][]

![uploading.4e448015.gif][]转存失败重新上传取消

1.  看看`oneInputSplitPerRegion`方法上面注释重点的地方，其实就是你们写在程序conf配置上的 **start = splitStart** 跟 **end = splitStop** ,或者还有scan的各种过滤器等，再加的Hbase的 **regionLocation** 就组成一个分区查询了，我们的数据就是这么被Spark在每个分区上查出来的。

看到文章这里进度的小伙伴们，是不是已经想到怎么做了？

## 结论 ##

既然的数据在分区上，我们重写TableInputFormat的`getSplits`获取分区就行了。

scala版本 [TableInputFormat2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 6][]

![uploading.4e448015.gif][]转存失败重新上传取消

1.  以上实现了10进制与16进制读取分区操作
2.  也可以直接指定分区读取

要上`scala`的代码了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 7][]

![uploading.4e448015.gif][]转存失败重新上传取消

请看代码：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 8][]

![uploading.4e448015.gif][]转存失败重新上传取消

## 不会scala? ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 9][]

![uploading.4e448015.gif][]转存失败重新上传取消Spark 读取 Hbase 自定义读取分片数据

给你个[Java版本][Java]的好了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 10][]

![uploading.4e448015.gif][]转存失败重新上传取消

Java程序

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 11][]

![uploading.4e448015.gif][]转存失败重新上传取消

运行没错请告诉，反正我没运行过。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70]: /images/20221024/62241679c34a4e509f944fa7fe25fe53.png
[uploading.4e448015.gif]: /images/20221024/a15784012b624f4aa7c4f54563bfed2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 1]: /images/20221024/bb30364b625b461fb4f148761a63efa3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 2]: /images/20221024/8f23c482dc2d47a6833cd494929cd59d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 3]: /images/20221024/d6bc2434c06c4c94a49040c9474bbb12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 4]: /images/20221024/ec2f032d1d7e4d6d8e7586e06589b369.png
[20210224112321482.png]: /images/20221024/041767805066458c876af593c60571ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 5]: /images/20221024/2566ec175a7f415a954513e9ac529d16.png
[TableInputFormat2]: https://links.jianshu.com/go?to=https%3A%2F%2Fgitee.com%2Fhuanghuanlai%2Fcodes%2Fixhvo5r2wg961b0jpntl319
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 6]: /images/20221024/99e12392bd8543ee97d1813cea577b40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 7]: /images/20221024/0eece63190294376bb54ae26820052f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 8]: /images/20221024/772f1887c52d4922b46cd17efa278b00.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 9]: /images/20221024/677fab5e96d846e69f8c6d22133af4eb.png
[Java]: https://links.jianshu.com/go?to=https%3A%2F%2Fgitee.com%2Fhuanghuanlai%2Fcodes%2Fy6c5ne3bzp8lwu7t1xqh257
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 10]: /images/20221024/1ec52f8ca5cb48959ec4dc02dd0db774.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodXl1bjEyMzQ1Njc4OQ_size_16_color_FFFFFF_t_70 11]: /images/20221024/0e35fa83391148ad9b6905ef724ba58c.png