Hbase基础使用与云Hbase2.0体验

以你之姓@ 2022-02-12 23:07 225阅读 0赞

又到金三银四的季节，相信各位都已经找到适合自己的工作了~当然我也悄悄告诉你我也找到了，去到更广阔的平台

今年开始决定正式进入大数据领域工作，从事大数据方向方面的开发。因为之前我一直在游戏公司，所以我选择领域是游戏行业的大数据解决方案。目前我的工作主要是负责建立一套游戏大数据运营系统，包括一套完善的游戏数据采集，计算，落地的系统。通过开发一套游戏大数据运营系统提供给我们的游戏运营大佬们。   
通过整合海量数据处理、敏捷BI、智能算法等平台能力，提高游戏日志等数据向业务价值转化的效率及智能化水平。

以前游戏大部分处理游戏日志都是把原始数据通过游戏服保存至Mysql，然后GM后台通过一定的定时逻辑运行定时统计，统计后的数据存入Mysql结果库。随着数据量的不断增长，MySQL传统关系型数据库并不能满足日益增长的数据需求。作为数据仓库需要解决高可用，分布式，存储大量数据的数据库。Hbase就是不错的选择。同时传统的数据统计计算交由Mysql的统计语句对数据进行汇总统计，加剧数据库负担，并且对实际生产环境产生一定的影响。Mysql是一款数据存储引擎，并不适合做大量的数据汇总与计算。计算应该交由专业的计算引擎去做计算【参考计算框架：MR，Spark，Flink】

[![HBase.png][]![12f1fd19964419d1ad4740f70d90b972c8835722][]][HBase.png]

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable。 Hbase作为大数据产品家族的一员，存储底层借助Hadoop的HDFS，能够存储海量数据，同时它和mongoDB一样，也是一款NoSQL产品，但是却有一定的区别，例如列族，RowKey这些概念。下面我们来看看Hbase的架构图

[![1395193-20180820160943668-488191030.jpg][]![3622ec6cd07692728d1acaf79201fcbe590581b1][]][1395193-20180820160943668-488191030.jpg]

HBase 一种是作为存储的分布式文件系统，另一种是作为数据处理模型的 MR 框架。因为日常开发人员比较熟练的是结构化的数据进行处理，但是在 HDFS 直接存储的文件往往不具有结构化，所以催生出了 HBase 在 HDFS 上的操作。如果需要查询数据，只需要通过键值便可以成功访问。 HBase 内置有 Zookeeper，但一般我们会有其他的 Zookeeper 集群来监管 master 和 regionserver，Zookeeper 通过选举，保证任何时候，集群中只有一个活跃的 HMaster，HMaster 与 HRegionServer 启动时会向 ZooKeeper 注册，存储所有 HRegion 的寻址入口，实时监控 HRegionserver 的上线和下线信息。并实时通知给 HMaster，存储 HBase 的 schema 和 table 元数据，默认情况下，HBase 管理 ZooKeeper 实例，Zookeeper 的引入使得 HMaster 不再是 单点故障。一般情况下会启动两个 HMaster，非 Active 的 HMaster 会定期的和 Active HMaster 通信以获取其最新状态，从而保证它是实时更新的，因而如果启动了多个 HMaster 反而增加 了 Active HMaster 的负担。 一个 RegionServer 可以包含多个 HRegion，每个 RegionServer 维护一个 HLog，和多个 HFiles 以及其对应的 MemStore。RegionServer 运行于 DataNode 上，数量可以与 DatNode 数量一致

[![E6_95_B0_E6_8D_AE_E6_B5_81.png][]![264ad6e2c36dced218751195a745e61d788722d5][]][E6_95_B0_E6_8D_AE_E6_B5_81.png]

随着 Spark 以及其社区的不断发展，Spark 及 Spark SQL 本身技术的不断成熟，Spark 在技术架构和性能上都展示出 Hive 无法比拟的优势。以前我们常用Hive进行数据分析，目前Spark结合SparkStreaming，MLib等组件能完美配合完成大数据生态圈的工作

[![E5_AE_9E_E6_97_B6_E5_88_86_E6_9E_90_E7_B1_BB.png][]![cbfd2023970e2506ca30839faadb265909413147][]][E5_AE_9E_E6_97_B6_E5_88_86_E6_9E_90_E7_B1_BB.png]

我们通常会通过Kafka消息队列对接SparkStreaming作为消费者，根据Group去消费一组业务的Topic，主要有以下场景：

*  Streaming实时读取Kafka数据做ETL
 *  复杂的ETL可以实时读取HBase/Phoenix的维表数据做关联
 *  结果数据写入HBase/Phoenix对外提供在线查询服务

现在阿里云最近在搞活动，免费1个月Hbase单节点版体验学习。借此机会赶紧学习一下~~ 白用白不用~ 赶紧撸了一台

[![image.png][]][image.png]

阿里云Hbase访问控制台

通过管理开通公网访问权限，公网访问必须下载阿里云Hbase客户端，借助ECS 访问ZK地址去访问的。这个大家可以参考官方文档，我这里不做过多的描述。我们连接上去首先先来些简单操作，例如创建一张表Student：

[![image-1.png][]][image-1.png]

Hbase-UI

我们首先创建表，然后往里面放入数据，人名为czy年龄23的和一条人名为yejoe的，sex为0的数据。Hbase这里存数据是使用put，不是insert，mongdob使用时update，mysql使用insert，大家意思都有点大同小异，最好扫描了一下表结构。

[![image-2.png][]][image-2.png]

操作记录

[![image-3.png][]][image-3.png]

取出用户数据和查看表结构

[![image-4.png][]][image-4.png]

统计student条数（基于RowKey），然后我们修改表结构，最多有3版本，然后再次放入数据，可以看到每次get会取出最新的数据

[![image-5.png][]][image-5.png]

我们可以看到Hbase控制台查看Table Schema

通过简单学习，是不是发现Hbase原来这么强大，后续我们还会介绍Hbase读写机制，Hbase实际生产应用

\*\*\*部分图片来自阿里云Hbase

[HBase.png]: https://image.gzczy.top/2019/03/HBase.png
[12f1fd19964419d1ad4740f70d90b972c8835722]: /images/20220213/798affd22544482bba41bba379c4e69c.png
[1395193-20180820160943668-488191030.jpg]: https://image.gzczy.top/2019/03/1395193-20180820160943668-488191030.jpg
[3622ec6cd07692728d1acaf79201fcbe590581b1]: /images/20220213/f67c324804d14d1b8678dfc27b91b7f9.png
[E6_95_B0_E6_8D_AE_E6_B5_81.png]: https://image.gzczy.top/2019/03/%E6%95%B0%E6%8D%AE%E6%B5%81.png
[264ad6e2c36dced218751195a745e61d788722d5]: /images/20220213/393c1a7a3ddc4e7a9fecbe81e36460f9.png
[E5_AE_9E_E6_97_B6_E5_88_86_E6_9E_90_E7_B1_BB.png]: https://image.gzczy.top/2019/03/%E5%AE%9E%E6%97%B6%E5%88%86%E6%9E%90%E7%B1%BB.png
[cbfd2023970e2506ca30839faadb265909413147]: /images/20220213/f1639322d9c742efab6b14180accfbc5.png
[image.png]: https://image.gzczy.top/2019/03/image.png
[image-1.png]: https://image.gzczy.top/2019/03/image-1.png
[image-2.png]: https://image.gzczy.top/2019/03/image-2.png
[image-3.png]: https://image.gzczy.top/2019/03/image-3.png
[image-4.png]: https://image.gzczy.top/2019/03/image-4.png
[image-5.png]: https://image.gzczy.top/2019/03/image-5.png