【项目】全栈开发医疗小程序第1章课程介绍 1.5 搭建HBase+Phoenix大数据平台

桃扇骨 2024-03-22 11:45 11阅读 0赞

### 【项目】全栈开发医疗小程序 ###

#### 文章目录 ####

*   *  【项目】全栈开发医疗小程序
     *   *  第1章 课程介绍
         *   *  1.5 搭建HBase+Phoenix大数据平台
             *   *  1.5.1 大数据平台的技术选择
                 *   *  1 HBase技术
                     *  2 Phoenix技术
                 *  1.5.2 部署HBase与Phoenix
                 *   *  1 导入镜像文件
                     *  2 创建容器
                     *  3 开放端口
                     *  4 初始化Phoenix
                 *  1.5.3 创建逻辑库和数据表
                 *   *  1 创建逻辑库
                     *  2 创建数据表与导入数据
                 *  1.5.4 配置JDBC连接信息

![在这里插入图片描述][7aaf60cb4bc64fad8e932d6f014ee93a.png_pic_center]

#### 第1章 课程介绍 ####

##### 1.5 搭建HBase+Phoenix大数据平台 #####

平时我们开发程序用的最多的是MySQL数据库，但是MySQL数据库有一个绕不过去的坎：单表数据量超过2000  
万，CRUD的性能会急速下降。

所以我们要安排DBA或者自动化脚本，定期把半年或者一年的数据，迁移到归档数据库中，这样就可以起到缩表的目的。如果开发的是普通的MIS系统，业务数据没有那么多，一个MySQL不用做定期归档也能支撑下来。但是类似于电商平台的项目，每天都会产生大量业务数据，一两个月就能累积几千万条数据。这种情况下，要么频繁的做数据归档，要么选择可以容纳数百TB而不需要归档的大数据平台。这里我选择了后者，既可以降低开发难度，又能减少请DBA的运维成本，何乐而不为呢。

###### 1.5.1 大数据平台的技术选择 ######

###### 1 HBase技术 ######

HBase是一个分布式，版本化，面向列的开源数据库，构建在Apache Hadoop和Apache ZooKeeper之上。

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server\_上搭建起大规模结构化存储集群。

HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，HBase基于列的而不是基于行的模式。

![在这里插入图片描述][4ad4a9c90e0a4ff0b636ff0ef074f478.png_pic_center]

**HBase的特点**

1.  海量数据存储，HBase中的表可以容纳上百亿行 x 上百万列的数据。
2.  列式存储，HBase中的数据是基于列进行存储的，能够动态的增加和删除列。
3.  准卖时查询，HBase在海量的数据量下能够接近准实时的查询（百毫秒以内）
4.  多版本，HBaser中每一列的数据都有多个版本。
5.  高可靠性，HBase中的数据存储于HDFS中且依赖于Zookeeper进行Master和RegionServer的协调管理。

HBase虽然支持表结构，但是操作起来并不方便。例如下面是个学生表，里面包含了若干的字段。

示例：Student数据表

![在这里插入图片描述][7420d9024e1047f0a58907beb4b869e9.png_pic_center]

如果我们给学生表添加新的记录，就需要执行下面的命令：

put 'Student','0001','StuInfo:Name','Tom Green',1

想要获取数据的时候，我们执行get命令就可以了。

get 'Student','0001'

对于我们平时习惯SQL语句的人来说，上面的命令如果简单还行，要是叠加上复杂的条件和函数，那么阅读性就非  
常差，所以我们要引入Phoenix技术。

scan 'mytest:test01',FILTER=>"RowFilter(=,'substring:202006')",LIMIT=>1
    
    count 'mytest:test01',FILTER=>"RowFilter(=,'substring:202004')",INTERVAL=>10000

###### 2 Phoenix技术 ######

Phoenix是给HBase添加了一个语法表示层，允许我们用SQL语句读写HBase中的数据，可以做联机事务处理，拥  
有低延迟的特性，这就方便多了。

Phoenix:会把SQL编译成一系列的Hbasel的scan操作，然后把scan结果生成标准的JDBC结果集，处理千万级行的数据也只用毫秒或秒级就搞定。而且Phoenix还支持MyBatis框架，正好可以和我们的项目整合到一起。

![在这里插入图片描述][645d1540b8f84c7f932dab8a73da1bbb.png_pic_center]

###### 1.5.2 部署HBase与Phoenix ######

###### 1 导入镜像文件 ######

首先我们在课程共享的资源中找到phoenix.tar.gz镜像文件，然后把这个文件上传到CentOS系统中，执行命令，把镜像文件导入Docker之中。

![在这里插入图片描述][a454f28266eb480aacfcc8626a71b563.png_pic_center]

命令：`docker load < phoenix.tar.gz`

![在这里插入图片描述][4eb66f6122df46c3921e9f31372b872b.png_pic_center]

执行命令

![在这里插入图片描述][8d7ab6b1204745c4b0ad5b6031da2605.png_pic_center]

记得启动docker 先

![在这里插入图片描述][e66463269f4240bb87514f17e34cad1e.png_pic_center]

查看现有镜像

![在这里插入图片描述][2e05ccdf0eb54abcb0f6d2767d713942.png_pic_center]

###### 2 创建容器 ######

因为镜像中已经包含和HBase和Phoenix,所以我们只需要创建出容器即可。

由于HBase需要使用的内存较大，这里我没有规定具体的内存大小，容器会自动使用空闲的内存。容器中数据目录是`/tmp/hbase-root/hbase/data`,我把这个目录映射到宿主机的`/root/hbase/data`目录。

docker run -it -d -p 2181:2181 -p 8765:8765 -p 15165:15165 \
    -p 16000:16000 -p 16010:16010 -p 16020:16020 \
    -v /root/hbase/data:/tmp/hbase-root/hbase/data \
    --name phoenix \
    boostport/hbase-phoenix-all-in-one:2.0-5.0

![在这里插入图片描述][bc64b48844234f49bb7b866a98163d6c.png_pic_center]

当前正在运行的容器

![在这里插入图片描述][6257494fcd624531ba657104a38852ee.png_pic_center]

###### 3 开放端口 ######

笔者这里直接把防火墙关了

![在这里插入图片描述][b3ec084843ed4a85acbd0431b4f41670.png_pic_center]

###### 4 初始化Phoenix ######

运行命令，进入到Phoenix容器中，然后执行命令设置`HBASE_CONF_DIR`环境变量。

docker exec -it phoenix bash
    
    export HBASE_CONF_DIR=/opt/hbase/conf/

![在这里插入图片描述][49b7442b0c984c75ba36bbe5dc30f7c1.png_pic_center]

接下来我们要连接Phoenix的命令行客户端。虽然IDEA也内置了Phoenix客户端，但是Bug挺多的，用着并不方  
便，所以我建议大家使用Phoenix自带的命令行客户端更好一些。而且我们要执行的SQL语句也并不多，命令行客  
户端已经足够用了。

/opt/phoenix-server/bin/sqlline.py localhost

![在这里插入图片描述][4a84a8661b63432fbaee42f1a2dac53f.png_pic_center]

第一次连接要多等一下

![在这里插入图片描述][cee702959c024ebd801edc22c9384854.png_pic_center]

出来了，这样就连上了

###### 1.5.3 创建逻辑库和数据表 ######

###### 1 创建逻辑库 ######

为了存储数据，我们需要像操作MySQL一样，先创建逻辑库，然后定义数据表。在Phoenix的命令行客户端我们先来执行创建逻辑库的命令。

CREATE SCHEMA hospital;
    
    USE hospital;

![在这里插入图片描述][97c2a9a32a064ef2be703435c054a7df.png_pic_center]

###### 2 创建数据表与导入数据 ######

在本课程的git上面有数据库脚本，SQL文件，你把这个SQL文件中的语句复制粘贴到Phoenix的命令行中执行即可。

![在这里插入图片描述][2ecfe63975cc4b3d805f4d7963de337b.png_pic_center]

一股脑儿全部贴过去就行了

![在这里插入图片描述][63c85ebf4f2c471786bd710ccb1e412b.png_pic_center]

1350 行

![在这里插入图片描述][d0b367c7b7be43299b55fe9b96633b06.png_pic_center]

等他执行完毕【创建索引比较耗时】

![在这里插入图片描述][5b2fe11d50fd441692dcb539d5eeffe5.png_pic_center]

OK， 完事儿了，退出

![在这里插入图片描述][f16ad3c525344463a953bfe57568cbf0.png_pic_center]

###### 1.5.4 配置JDBC连接信息 ######

这里要导入项目了

这里老师用了api 那个做演示

![在这里插入图片描述][62d8f053ac7946358232dd29cd1bdc46.png_pic_center]

复制工程到自己的目录

![在这里插入图片描述][862e3a09986a469091bfbf0e3fa2e5cb.png_pic_center]

用IDEA 导入打开

![在这里插入图片描述][c910e52b57e54684ac0f4ec1385d08fe.png_pic_center]

![在这里插入图片描述][af4d9a2796884d62b37c3976aa3488ad.png_pic_center]

使用我们自己的maven 配置

![在这里插入图片描述][b7425c9c95d647648f90746657a8709d.png_pic_center]

挺新的，2.7.2 版本的SpringBoot

![在这里插入图片描述][00485fdbc1494be28d1495f69cde7af4.png_pic_center]

等待项目构建完成

![在这里插入图片描述][6ecb43f5967241a799f9dc7583c16d63.png_pic_center]

注意用的JDK 版本，是我们前面装的15

![在这里插入图片描述][349cd3ca6349416fbe3291365ca68351.png_pic_center]

构建完成

![在这里插入图片描述][28e19602464840acb141ba4f4a02b035.png_pic_center]

这里要改成我们的服务器(虚拟机IP)

![在这里插入图片描述][13741163aa6245959cbd411e84f33678.png_pic_center]

还有另一个Java 项目，现在打开这个是微信小程序的接口后台，还有个web 端的接口后台

![在这里插入图片描述][1ad049fb53db4cf9b7e685ced68a7fb8.png_pic_center]

同样也用IDEA 导入打开

![在这里插入图片描述][42e6f32ecad74cbfa6e50ba6a67cf01e.png_pic_center]

![在这里插入图片描述][4db9bdbb05a9480582903007caf18d4a.png_pic_center]

同样用我们本地的maven 配置

![在这里插入图片描述][9e38a09281d243eebe9164ac45203c3a.png_pic_center]

同样的改上面那个地方就行了

![在这里插入图片描述][94cc419f28674fa580fbc3968d6344cc.png_pic_center]

这个项目的springboot 版本还要高两个点

![在这里插入图片描述][048f2fd1bf1b48e68dc6908505007527.png_pic_center]

![在这里插入图片描述][fda4a2cae0504efbacd8c0eb83862a07.png_pic_center]

![在这里插入图片描述][5ce988218aa440ad9ab74a1dd519fba1.png_pic_center]

OK，就这样。

[7aaf60cb4bc64fad8e932d6f014ee93a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/30088d996e19499db1dfc6d57eda135c.png
[4ad4a9c90e0a4ff0b636ff0ef074f478.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/8894ef1301b247f1adab015501423556.png
[7420d9024e1047f0a58907beb4b869e9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d1d003c08bb245ed8268dcf66b924df8.png
[645d1540b8f84c7f932dab8a73da1bbb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/90a325d4ff3d4152ac99cfdfe09712ec.png
[a454f28266eb480aacfcc8626a71b563.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/837a967ed6b34031b9a5fd9a23b60377.png
[4eb66f6122df46c3921e9f31372b872b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/86a818b702064587baf215356e95a0c7.png
[8d7ab6b1204745c4b0ad5b6031da2605.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/0c788c90a5f44a16aef90419a4583380.png
[e66463269f4240bb87514f17e34cad1e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5ad8f7c4d7204aa0abfbffdec01171bd.png
[2e05ccdf0eb54abcb0f6d2767d713942.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/264692a91c16460d917e1f0afd8e3f1e.png
[bc64b48844234f49bb7b866a98163d6c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/026b73cc405541888b2708db87da885f.png
[6257494fcd624531ba657104a38852ee.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/93ce8b5ef6f640e7a4da62a51cabfd50.png
[b3ec084843ed4a85acbd0431b4f41670.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/c50075b5b2024579b3c8e27ab7e61035.png
[49b7442b0c984c75ba36bbe5dc30f7c1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/0f677edfc73f40e9aeb0eb7e9adb1265.png
[4a84a8661b63432fbaee42f1a2dac53f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e974d5983ca941c38c7840ad93dbc393.png
[cee702959c024ebd801edc22c9384854.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a2f6d6a65f814af6bde6643941464572.png
[97c2a9a32a064ef2be703435c054a7df.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/88bd67a8d6504b1190dff25830d19438.png
[2ecfe63975cc4b3d805f4d7963de337b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/bcca46cb41ff451eb9f21e7e41010c4b.png
[63c85ebf4f2c471786bd710ccb1e412b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/0f340a17bd56429dba8266cbba40c81c.png
[d0b367c7b7be43299b55fe9b96633b06.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b00d3531b7424195a127561d4306ece7.png
[5b2fe11d50fd441692dcb539d5eeffe5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/24c6221d663e48b780919f1b7afbbc92.png
[f16ad3c525344463a953bfe57568cbf0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f3c5238af84c48f7b7c870454526eb88.png
[62d8f053ac7946358232dd29cd1bdc46.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/37a27e5bb39e4e92b1a3be1672136d6e.png
[862e3a09986a469091bfbf0e3fa2e5cb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/20a3ebcc13bc46f99d14fbfe1e9b4670.png
[c910e52b57e54684ac0f4ec1385d08fe.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6cdc0353c9f14fd3bb6326685e75539d.png
[af4d9a2796884d62b37c3976aa3488ad.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f7975e3d76f745d698a027c3a23c5969.png
[b7425c9c95d647648f90746657a8709d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7d39450f0dc0480ebb9ceeb005cc26e7.png
[00485fdbc1494be28d1495f69cde7af4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e34745a88b7a4972b1e7f63f5c360200.png
[6ecb43f5967241a799f9dc7583c16d63.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e454e78022bf4f12874a0df0a41941b4.png
[349cd3ca6349416fbe3291365ca68351.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/be23b9a6fb4b48d48cbbd1acecfd6081.png
[28e19602464840acb141ba4f4a02b035.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2824d4647c714292a15259feb50335cf.png
[13741163aa6245959cbd411e84f33678.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/8e86b9f00b854633ba27f7bc11eb9e59.png
[1ad049fb53db4cf9b7e685ced68a7fb8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/97c055f4947b41778555859afcf4292f.png
[42e6f32ecad74cbfa6e50ba6a67cf01e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e02f9a2c9b834f64984deb1aef4769c8.png
[4db9bdbb05a9480582903007caf18d4a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/086c93f88d334221885f786305d71f42.png
[9e38a09281d243eebe9164ac45203c3a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/32ea7f73dd46431ba78a06b60ca5dc56.png
[94cc419f28674fa580fbc3968d6344cc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/31899b1468934604995896d9506bd1c3.png
[048f2fd1bf1b48e68dc6908505007527.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2da243e268324ec9ba344ba25f2ea8ec.png
[fda4a2cae0504efbacd8c0eb83862a07.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/eb6607328bab40b8b1403a55ac87a44f.png
[5ce988218aa440ad9ab74a1dd519fba1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/db88ffa17eef4841b27d6a9856f2a276.png