Hbase+split16-1

你的名字 2022-09-17 15:24 136阅读 0赞

1.      Region的rowkey范围是开区间还是闭区间？描述一下

2.      Scan的rowkey范围是开区间还是闭区间？描述一下

3.      HTablePool线程安全么？如果线程安全，为什么？如果线程不安全，有什么影响？

4.      下面的代码有没有问题

**public** List<Message> getData(Date start, Dateend, Long to)

**throws** IOException \{

HTableInterfacetable = tablePool.getTable(*tableName*);

List<Message>ret = **null**;

**byte**\[\] bytesTo = Bytes.*toBytes*(to);

**byte**\[\] startRow = Bytes.*add*(bytesTo,Bytes.*toBytes*(start.getTime()));

**byte**\[\] endRow = Bytes.*add*(bytesTo, Bytes.*toBytes*(end.getTime()));

**byte**\[\] family = "f".getBytes();

Scanscan = **new** Scan();

scan.setStartRow(startRow);

scan.setStopRow(endRow);

scan.setCaching(200);

scan.addFamily(family);

ResultScannerrs = **null**;

**try** \{

rs= table.getScanner(scan);

Resultresult = rs.next();

**while** (result != **null**) \{

**if** (ret == **null**) \{

ret= **new** ArrayList<Message>();

\}

Messagemsg = **new** Message();

msg.setTo(to);

**long** id = Bytes.*toLong*(result.getValue(family,"id".getBytes()));

**long** from = Bytes.*toLong*(result.getValue(family, "from".getBytes()));

Stringmessage = Bytes.*toString*(result.getValue(family,

"msg".getBytes()));

**long** time = Bytes.*toLong*(Arrays.*copyOfRange*(result.getRow(),8,

16));

msg.setId(id);

msg.setFrom(from);

msg.setMessage(message);

msg.setTime(**new** Date(time));

ret.add(msg);

result.close();

result= rs.next();

\}

\}**finally** \{

table.close(); // important

\}

**return** ret;

\}

5.      请优化：

publicList<Put> getPut(String row, String… values) \{

List<Put> puts = new ArrayList<Put>(values.length);

for(String value : values) \{

Put put = new Put(row.getBytes());

put.add("family".getBytes(),"from".getBytes(), Bytes.toBytes(value));

puts.add(put);

\}

return puts;

\}

6.      scan.setBatch(1)和scan.setCaching(2)的区别

7.      判断

a)       put(List<Put> puts)比put(Put put)效率高。

b)       HBase的底层是HDFS，有多副本，所以HBase不会丢失数据。

c)       写数据一定将自动flush设置为true以提高性能。

d)       如果我要存30天的数据，但列都一样，那我可以用30个version来保存。

e)       为了提升处理能力，我们应该把一批Put，分成多线程put到HBase集群

f)        变长字段组合成rowkey的时候，将字段之间用\#隔开就可以了。

g)       一个Put对应于一个KeyValue。

h)       HBase中建两张表不如建两个family。

i)         假设pool是HTablePool对象，可以HTable table=(HTable) pool.get(“table”)。

j)         使用HTablePool缓存的table(HTableInterface对象)，将autoFlush设置为false的时候，用table.close就会自动flushCommits()。

k)       一批Put最多需要当前表的region个数个RPC请求

l)         HTablePool实现了网络连接的复用。

在设计RowKey的时候，常常有应用的RowKey必须包含ID部分，这样才可以支持查询访问。但ID自增长，会导致写入数据的时候压力集中在某一个或少数几个Region上，这是HBase设计的大忌。

经过多个应用的实践，我创造了ID的二进制反转的方式来避免。

简单说明: 比如ID是Byte型(一般为int或者long，此处为方便解释)，RowKey=ID+timestamp，1,2,3,4……这样增长，对应二进制为0000 0001，0000 0010，0000 0011,0000 0100……，因为前面的bit是不会变化的，所以以ID为RowKey（或者ID打头）的数据写入的时候会集中在一个region上，然后又集中在下一个region上。为此将变化的部分放到RowKey的前面，来分散写入的压力。前面的增长在RowKey的ID上就变成1000 0000， 0100 0000， 1100 0000，0010 0000……我们预分区，假如需要16-1个分区，就可以分为\[,0x01)，\[0x01,0x02),\[0x02,0x03)……\[0xFE,0xFF), \[0xFF,)，注意算一下，这样，1,2,3,4……就会写到不同的区间上，从而分散到不同的region了。（提醒：为什么只拿ID说事，不考虑timestamp呢，因为HBase的RowKey时字节码比较的，先从高位开始，高位分出胜负，后面就不care了~）

优点：转顺序为分散，均衡集群压力；可以做到预分区；不用hash，不用考虑ID的hash碰撞，从而节约存储空间；

限制：scan只能在同一ID打头的rowkey内进行，连续ID的scan不能直接支持，需要程序逻辑处理。

相信了解HBase的能很快理解，不做赘述。以后不断分享HBase设计和系统运营、代码分析、缺陷修复等。

发表评论取消回复

表情：

评论列表（有 0 条评论，136人围观）

还没有评论，来说两句吧...

相关阅读

相关 161.SQL Server到Oracle连接服务器的实现

SQL Server到Oracle连接服务器的实现作者：中国论坛网收集来源：http://www.51one.net 加入时间：2

Love The Way You Lie/ 2024年02月19日 19:16/ 0 赞/ 33 阅读

相关（每日一练c++）CC161 翻转子串

描述给定2个字符串s1和s2，请判断s2是否为s1旋转而成，返回bool值。字符串中字符为英文字母和空格，区分大小写，字符串长度小于等于1000。测试样例：

淡淡的烟草味﹌/ 2023年10月04日 17:59/ 0 赞/ 51 阅读

相关 lintcode161. 旋转图像

给定一个N×N的二维矩阵表示图像，90度顺时针旋转图像。样例样例1：输入:[[1,2],[3,4]] 输出:[[3,1],[4

矫情吗；*/ 2023年07月06日 13:04/ 0 赞/ 16 阅读

相关 leetcode161. 相隔为 1 的编辑距离

给定两个字符串 s 和 t，判断他们的编辑距离是否为 1。注意：满足编辑距离等于 1 有三种可能的情形：往 s 中插入一个字符得到 t 从 s 中删除一个字符得

清疚/ 2023年07月02日 11:24/ 0 赞/ 6 阅读

相关 CodeForces 161D Distance in Tree 点分治

题目链接: [http://codeforces.com/problemset/problem/161/D][http_codeforces.com_problemset_p

忘是亡心i/ 2023年05月21日 07:23/ 0 赞/ 17 阅读

相关【日记】161微服务项目第31天

01 一句话日记 2020/9/20 ![92dd17e03e5c3e115b85625f56e60633.png][] 02 Day161 每日总结学了几天的

灰太狼/ 2022年12月11日 09:27/ 0 赞/ 194 阅读

相关【微服务】161：SpringDataElasticsearch

今天是刘小爱自学Java的第161天。感谢你的观看，谢谢你。 ![e6ec0b3aa405935a955cc460aa241d29.png][] 学习计划安排如下：

本是古典何须时尚/ 2022年12月11日 09:26/ 0 赞/ 147 阅读

相关 Java基础学习总结（161）——Java 重试机制

重试的作用：对于重试是有场景限制的，不是什么场景都适合重试，比如参数校验不合法、写操作等（要考虑写是否幂等）都不适合重试。远程调用超时、网络突然中断可以重试。在微服务治

「爱情、让人受尽委屈。」/ 2022年12月11日 07:50/ 0 赞/ 84 阅读

相关 161-电池按钮酷炫霓虹灯悬停特效

效果 (源码网盘地址在最后) ![198e254df8edfa67515fe2db181a2621.gif][] 最近开源了一个 Vue 组件，还不够完善，欢迎大家来一

迷南。/ 2022年10月07日 00:54/ 0 赞/ 248 阅读

相关阿里云ACE备考题库161-240

> 使用访问控制服务(RAM),可以控制哪些RAM用户可以执行哪些ROS操作,也可以控制哪些RAM用户可以对哪些资源栈(Stack)下的资源进行操作。这样就能够以ROS的资源栈

忘是亡心i/ 2022年09月13日 00:24/ 0 赞/ 527 阅读