新闻网大数据实时分析可视化系统项目——6、HBase分布式集群部署与设计

迷南。 2021-11-26 15:36 217阅读 0赞

HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。

HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来处理Bigtable中的海量数据， HBase 同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable 利用Chubby作为协同服务， HBase 利用Zookeeper作为对应。

1.下载HBase并安装

![1518034-20190510152927155-866209626.png][]

1）下载[Apache][]版本的HBase。

2）下载[Cloudera][]版本的HBase。

3）这里选择下载cdh版本的hbase-0.98.6-cdh5.3.0.tar.gz，然后上传至bigdata-pro01.kfk.com节点/opt/softwares/目录下

4）解压hbase

tar -zxf hbase-0.98.6-cdh5.3.0.tar.gz -C /opt/modules/

2.分布式集群的相关配置

1）HBase架构体系

![1518034-20190510152954336-563523210.png][]

a.Zookeeper

Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中，使得HMaster可以随时感知到各个HRegionServer的健康状态。此外，Zookeeper也避免了HMaster的单点问题。

b.HBase Master

每台HRegion服务器都会和HMaster服务器通信，HMaster的主要任务就是要告诉每台HRegion服务器它要维护哪些HRegion。 　　当一台新的HRegion服务器登录到HMaster服务器时，HMaster会告诉它先等待分配数据。而当一台HRegion死机时，HMaster会把它负责的HRegion标记为未分配，然后再把它们分配到其他HRegion服务器中。

c.HRegionServer

HRegionServer主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBase中最核心的模块。

2）HBase集群规划

![1518034-20190510153021150-1729542970.png][]

3）分布式集群相关配置

a.hbase-env.sh

\#配置jdk

export JAVA\_HOME=/opt/modules/jdk1.7.0\_67

\#使用独立的Zookeeper

export HBASE\_MANAGES\_ZK=false

b.hbase-site.xml

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://ns/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>bigdata-pro01.kfk.com,bigdata-pro02.kfk.com,

bigdata-pro03.kfk.com</value>

</property>

</configuration>

c.regionservers

bigdata-pro01.kfk.com

bigdata-pro02.kfk.com

bigdata-pro03.kfk.com

d.backup-masters

bigdata-pro02.kfk.com

4）将hbase配置分发到各个节点

scp -r hbase-0.98.6-cdh5.3.0 bigdata-pro02.kfk.com:/opt/modules/

scp -r hbase-0.98.6-cdh5.3.0 bigdata-pro03.kfk.com:/opt/modules/

3.启动HBase服务

1）各个节点启动Zookeeper

zkServer.sh start

2）主节点启动HDFS

bin/start-dfs.sh

3）启动HBase

bin/start-hbase.sh

4）查看HBase Web界面

bigdata-pro01.kfk.com:60010/

如果各个节点启动正常，那么HBase就搭建完毕。

4.通过shell测试数据库

1）选择主节点进入HBase目录，启动hbase-shell

cd hbase-0.98.6-cdh5.3.0

bin/hbase-shell

2）查看所有表命令

list

3）使用help帮助命令

help

4）创建表

create 'test','info'

5）添加数据

put 'test','0001','info:userName','laocao'

6）全表扫描数据

scan 'test'

7）查看表结构

describe 'test'

8）删除表

disable 'test'

drop 'test'

5.根据业务需求创建表结构

1）[下载][Link 1]数据源文件

2）HBase上创建表

create 'weblogs','info'

转载于:https://www.cnblogs.com/ratels/p/10844699.html

[1518034-20190510152927155-866209626.png]: /images/20211126/5442e883d76748d8a085e18b761a4ad5.png
[Apache]: https://archive.apache.org/dist/
[Cloudera]: http://archive-primary.cloudera.com/cdh5/cdh/5/
[1518034-20190510152954336-563523210.png]: /images/20211126/398289bcd239402698e489780a032737.png
[1518034-20190510153021150-1729542970.png]: /images/20211126/6f82588dec5c403f9242fa441b0e9a60.png
[Link 1]: http://www.sogou.com/labs/resource/q.php

发表评论取消回复

表情：

评论列表（有 0 条评论，217人围观）

还没有评论，来说两句吧...

相关阅读

相关基于分布式爬虫的电影数据可视化分析系统

目录 1 绪论 2 1.1 研究背景 2 1.1.1 SourceForge.net 2 1.1.2 需求复用 2 1.1.3 实验项目 2 1.1.

红太狼/ 2024年03月27日 08:44/ 0 赞/ 90 阅读

相关大数据库可视化模版42：大数据分析系统

> 博主介绍：《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者，CSDN博客专家，在线教育专家，CSDN钻石讲师；专注大学生毕业设计教育和辅导。 > 所有项

港控/mmm°/ 2024年02月20日 12:09/ 0 赞/ 74 阅读

相关大数据库可视化模版33：数据可视化页面设计

> 博主介绍：《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者，CSDN博客专家，在线教育专家，CSDN钻石讲师；专注大学生毕业设计教育和辅导。 > 所有项

旧城等待，/ 2024年02月20日 12:08/ 0 赞/ 96 阅读

相关大数据库可视化模版18：大数据可视化系统数据分析通用模版

> 博主介绍：《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者，CSDN博客专家，在线教育专家，CSDN钻石讲师；专注大学生毕业设计教育和辅导。 > 所有项

快来打我*/ 2024年02月20日 10:27/ 0 赞/ 88 阅读

相关大数据库可视化模版11：大数据可视化系统数据分析通用模版

> 博主介绍：《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者，CSDN博客专家，在线教育专家，CSDN钻石讲师；专注大学生毕业设计教育和辅导。 > 所有项

阳光穿透心脏的1/2处/ 2024年02月20日 10:25/ 0 赞/ 100 阅读

相关可视化大数据分析系统

可视化大数据分析系统有很多，如果系统级都是收费的，如果大家想要了解可视化大数据分析系统，私信我就行。下面聊下5个常用的大数据可视化分析工具。 1、FineReport

ゝ一世哀愁。/ 2023年09月23日 18:58/ 0 赞/ 223 阅读

相关部署Kubernetes集群+Dashboard可视化页面-1.18.6版本

Kubeadm 部署 Kubernetes1.18.6 集群一、环境说明 <table> <thead> <tr> <th>主机名</th>

Love The Way You Lie/ 2023年03月04日 13:28/ 0 赞/ 20 阅读

相关大数据集群可视化管理界面

hadoop： hadoop: [http://master:50070/dfshealth.html\tab-overview][http_master_500

Myth丶恋晨/ 2022年10月14日 11:56/ 0 赞/ 186 阅读

相关新闻网大数据实时分析可视化系统项目——13、Cloudera HUE大数据可视化分析

1.Hue 概述及版本下载 1）概述 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源

刺骨的言语ヽ痛彻心扉/ 2021年11月26日 16:31/ 0 赞/ 330 阅读

相关新闻网大数据实时分析可视化系统项目——6、HBase分布式集群部署与设计

HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建大规模结构化存储集群。 HBase 是Google

迷南。/ 2021年11月26日 15:36/ 0 赞/ 217 阅读