玩转HBase: Coprocessor Endpoint (1)：startkey和endkey的真正作用

╰+攻爆jí腚メ 2022-05-26 07:21 138阅读 0赞

Coprocessor(协处理器)是HBase 0.92版后加入的新组件，详情请见：[HBase: Coprocessor Introduction][HBase_ Coprocessor Introduction]。

本系列主要探讨Coprocessor的Endpoint方法。

本篇主要介绍Endpoint中startkey和endkey的真正作用。

官方把Coprocessor的Endpoint比喻成关系型数据库的StoreProcedure(存储过程)，这个比喻很恰当。但我个人觉得Endpoint有时更像是一个只有单个Reduce的MapReduce，Reduce是Client，Maps就是Regions上的Endpoints。

接触过Coprocessor方法的童鞋都应该知道Endpoint的Client调用方法有两个，如下：

\[java\]  [view plain][]   [copy][view plain]

1.  org.apache.hadoop.hbase.client.HTable.coprocessorProxy(  
2.      Class<? **extends** Map<**byte**\[\], String>> protocol,  
3.      **byte**\[\] row  
4.  )  
5.    
6.  org.apache.hadoop.hbase.client.HTable.coprocessorExec(  
7.      Class<ScanCoprocessorProtocol> protocol,  
8.      **byte**\[\] startKey,  
9.      **byte**\[\] endKey,  
10.     Call<ScanCoprocessorProtocol,  
11.     String> callable  
12. ) **throws** IOException, Throwable

coprocessorProxy是串行调用方法，coprocessorExec是并行调用方法。  
如果需要跨多个Region调用，coprocessorExec性能要高于coprocessorProxy。  
那么如何才能让Client锁定Region呢？  
coprocessorProxy由参数row控制，coprocessorExec由startkey和endkey控制。这里要强调一下，很多新手都会搞错一个概念，他们会认为startkey和endkey是就是Scan方法中的startRow和stopRow~~~，其实不然

\[java\]  [view plain][]   [copy][view plain]

1.  org.apache.hadoop.hbase.client.Scan.Scan(**byte**\[\]startRow, **byte**\[\]stopRow)

Scan中的startRow和stopRow是控制Row上下标，也就是说Scan操作的对象是数据。而coprocessorExec的startkey和endkey的操作对象是Region，这个概念千万不能搞错~~  
举个例子有一张表TB: startRow=1000000,endRow=2000000，一共100W条数据。现在把这100W数据平均分到10个Region上  
Region1：  1000000--1100000  
Region2：  1100001--1200000  
Region3：  1200001--1300000  
..............  
Region10：1900001--2000000  
现在我们根据Row的范围做一次Count统计

如果调用Scan做一次Client统计

\[java\]  [view plain][]   [copy][view plain]

1.  String RowKey = "1050001";  
2.  String EndKey = "1100000";  
3.  HTable myTB = **new** HTable(conf, "TB");  
4.  Scan myScan = **new** Scan(RowKey.getBytes(),EndKey.getBytes());  
5.  ResultScanner rs = myTB.getScanner(myScan);  
6.  **int** Count = 0;  
7.  **while**(rs.hasnext())  
8.      Count++;

最后的结果Count = 5W。

但是如果把coprocessorExec的startkey和endkey当成Scan中的startRow和stopRow来调用Endpoint，悲剧发生了~~

\[java\]  [view plain][]   [copy][view plain]

1.  String RowKey = "1050001";  
2.  String EndKey  = "1100000";  
3.  //伪代码，真正的调用方式不是这样的  
4.  **int** Count = coprocessorExec(  
5.      Myprotocol.**class**,  
6.      RowKey.getBytes()，  
7.      EndKey.getBytes(),  
8.      **new** Batch.Call<Myprotocol, **int**>() \{  
9.  **public** String call(Myprotocol counter)  
10.     **throws** IOException \{  
11.         **return** MyScan();  
12.     \}  
13. \});  
14.   
15.   
16. //Endpoint方法  
17. **int** MyScan()\{  
18.     Scan myScan = **new** Scan();  
19.     RegionCoprocessorEnvironment environment = (RegionCoprocessorEnvironment) getEnvironment();  
20.     InternalScanner scanner = environment.getRegion().getScanner(myScan);  
21.     **int** Count = 0;  
22.     **while**(scanner.hasnext())  
23.         Count ++;  
24.     **return** Count;  
25. \}

最后结果：Count =10W，尽然扫描了整个Region1 ![惊恐][panic.gif] ~~~这是因为coprocessorExec的startkey和endkey定位对象是Region，只要startkey和endkey的区间内的任何一个ROW覆盖到了某个Region，那么该Region的所有数据都会被扫描一次，最后只会得到一个错误的结果。

官方的例子中，scan实例是在Endpoint函数中定义的，这很可能会误导很多新手。为了避免这种情况发生，我们只要在MyScan方法中加入一个Scan参数，Client定义好Scan的startRow和stopRow，并向MyScan传入该参数。

\[java\]  [view plain][]   [copy][view plain]

1.  String RowKey = "1050001";  
2.  String EndKey  = "1100000";  
3.  Scan myScan = **new** Scan(RowKey.getBytes(),EndKey.getBytes());  
4.  //伪代码，真正的调用方式不是这样的  
5.  **int** Count = coprocessorExec(  
6.          Myprotocol.**class**,  
7.          RowKey.getBytes()，  
8.          EndKey.getBytes(),  
9.          **new** Batch.Call<Myprotocol, **int**>() \{  
10.             **public** String call(Myprotocol counter)  
11.                 **throws** IOException \{  
12.                 **return** MyScan(myScan);  
13.             \}  
14. \});  
15.   
16.   
17. //Endpoint方法  
18. **int** MyScan(myScan)\{  
19.     RegionCoprocessorEnvironment environment = (RegionCoprocessorEnvironment) getEnvironment();  
20.     InternalScanner scanner = environment.getRegion().getScanner(myScan);  
21.     **int** Count = 0;  
22.         **while**(scanner.hasnext())  
23.         Count ++;  
24.     **return** Count;  
25. \}

这样就可以得到正确的统计值。  
当然除了Scan，其他例如Get、Put、HTable甚至自定义类型都是可以作为参数传入的，这由业务决定。  
我个人认为Endpoint作用不光是用来统计数据，还可以代替Scan方法用来查询明细数据，只不过开发人员需要自己去封装 List<Result>，有时我们甚至可以用Endpoint，去建立异步的二级索引和整理后台数据等工作。  
今后会提供一些Coprocessor的实例源码，下期放上一个复杂的Endpoint实例讲解。  
注：以上代码都是Java伪代码，不能直接Copy使用。  
本文是CSDN-撸大湿原创，如要转载请注明出处，谢谢。

如有任何异议请留言，或去[CSDN-Hadoop][]论坛找我，欢迎拍砖~

下期将重点讨论在不同的应用场景下，如何选择coprocessorProxy和coprocessorExec。

并结合自己写的源码的对这两个方法做详细的分析：玩转HBase: Coprocessor Endpoint (2)：coprocessorProxy和coprocessorExec的合理运用

[HBase_ Coprocessor Introduction]: https://blogs.apache.org/hbase/entry/coprocessor_introduction
[view plain]: https://blog.csdn.net/tntzbzc/article/details/8915101#
[panic.gif]: /images/20220526/9c308d6cf7124de7b223b70cc3258334.png
[CSDN-Hadoop]: http://bbs.csdn.net/forums/hadoop

发表评论取消回复

表情：

评论列表（有 0 条评论，138人围观）

还没有评论，来说两句吧...

相关阅读

相关存储引擎的概念及作用，玩转MySQL

前言从今天开始, 就带各位小伙伴学习数据库技术。数据库技术是Java开发中必不可少的一部分知识内容。也是非常重要的技术。本系列教程由浅入深, 全面讲解数据库体系。非常

骑猪看日落/ 2024年03月16日 12:13/ 0 赞/ 17 阅读

相关 @Endpoint注解的作用

在许多编程语言和框架中，@Endpoint是一个常见的注解或装饰器，其作用是标识一个函数或方法作为服务端点（Endpoint）。在网络应用程序或API中，服务端点是客户端可以访

怼烎@/ 2023年10月13日 22:57/ 0 赞/ 115 阅读

相关【HBase-Coprocessor】HBase协处理器同步数据至Elasticsearch

【HBase-Coprocessor】HBase协处理器同步数据至Elasticsearch 1）代码编写 1.1.Pom依赖导入 1.2

Myth丶恋晨/ 2023年10月08日 18:13/ 0 赞/ 51 阅读

相关【HBase】HBase系列之HBase高级篇——协处理器ObServer及EndPoint开发

上一篇：[HBase系列之HBase Shell常用命令实战][HBase_HBase Shell] -------------------- 指路牌 O

港控/mmm°/ 2023年10月05日 11:52/ 0 赞/ 47 阅读

相关 Hbase高级-数据真正删除

创建表 create 'stu9','info' 插入数据 put 'stu9','1001','info:name','haiwang'

古城微笑少年丶/ 2022年12月09日 04:51/ 0 赞/ 207 阅读

相关 Hbase学习之——协处理Coprocessor的使用

一、hbase协处理器 hbase协处理器可以分为Observer Coprocessor和Endpoint Coprocessor两种，即观察者协处理

太过爱你忘了你带给我的痛/ 2022年12月03日 05:10/ 0 赞/ 150 阅读

相关 Hbase总结（八）Hbase中的Coprocessor

http://blog.csdn.net/lifuxiangcaohui/article/details/39991183 1.起因(Why HBase Coproces

怼烎@/ 2022年08月07日 10:57/ 0 赞/ 198 阅读

相关在Hbase Endpoint Coprocessor中使用coprocessorProxy操作例子与问题解析

转载请注明原创为Michael Zhang：[http://blog.csdn.net/matrixyy/article/details/46688467][http_blog

- 日理万妓/ 2022年08月01日 15:46/ 0 赞/ 147 阅读

相关 Hbase协处理器（Coprocessor）

观察者的设计意图是允许用户通过插入代码来重载协处理器框架的upcall方法，而具体的事件触发的callback方法由HBase的核心代码来执行。协处理器框架处理所有的callb

布满荆棘的人生/ 2022年07月16日 12:46/ 0 赞/ 209 阅读

相关玩转HBase: Coprocessor Endpoint (1)：startkey和endkey的真正作用

Coprocessor(协处理器)是HBase 0.92版后加入的新组件，详情请见：[HBase: Coprocessor Introduction][HBase_ Copro

╰+攻爆jí腚メ/ 2022年05月26日 07:21/ 0 赞/ 139 阅读