Hive+Spark离线数仓工业项目实战--环境构建（3）

秒速五厘米 2024-03-30 11:38 50阅读 0赞

## 项目环境配置 ##

**根据需求实现项目环境配置**

实施

\- 注意：所有软件Docker、Hadoop、Hive、Spark、Sqoop都已经装好，不需要额外安装配置，启动即可

配置网络：如果你的VM Nat网络不是88网段，请按照以下修改

\- 修改Linux虚拟机的ens33网卡，网卡和网关，修改为自己的网段

![7d932a0e3f6b4f5480e425ddbc414de8.png][]

![efbff14b1b08447db46e0776c77f9e09.png][]

**配置映射**

## ![c3cadc52b2f74e53a48c62364c619a87.png][]项目环境测试：Oracle ##

实现项目Oracle环境的测试

**实施**

![04c9942442f6470e9b03f14d77cfbf79.png][] \- 远程连接：DG

\- step1：安装DG

\- step2：创建连接

\- SID：helowin  
\- 用户名：ciss  
\- 密码：123456  
![d81bf3d51b964033b3c00af9d8f47aaa.png][]  
  
![40306a9b757c44fb9363f3032b181851.png][]  
  
  
  
  
step3：配置驱动包  
![5bac95b5c4764e9a9a1292b005a3a4d0.png][]  
  
  
  
step4：配置JDK  
  
![20a39724441842fe89cfe7e23d517d3a.png][]  
step5：测试  
  
![493a510141bb40b0b92292f804257ba8.png][]  
\- 关闭  
  
![b8b19acab06b43629bacb560e9d83084.png][]

## 项目环境测试：MySQL ##

实现项目MySQL环境的测试

实施

\- 大数据平台中自己管理的MySQL：两台机器

\- 存储软件元数据：Hive、Sqoop、Airflow、Oozie、Hue  
\- 存储统计分析结果

\- 注意：MySQL没有使用Docker容器部署，直接部署在当前node1宿主机器上

\- 启动/关闭：默认开启自启动

\- 连接：使用命令行客户端、Navicat、DG都可以

\- 用户名：root  
\- 密码：123456

![e7013c3dfd1b43c7aac41480629e1d2a.png][]

![4fcf957240ce4950afdf7a8fd2cd7b48.png][]

查看

![bffefcfa9f834e2f9d48845bc1ac5c12.png][]

##  ##

## 项目环境测试：Hadoop ##

目标：实现项目Hadoop环境的测试

实施

![746e2948df6345f988de2ae16d506604.png][] ![4e5e6a5bd05d483c84f1e8df33232333.png][]

node1:8088

![dc01e73e62724bcab22326376df68cb8.png][]

node1:19888

![1aba46edb3b8461ca6f8044581e80910.png][]

![7a9fa6768813492b8c5b013baadba539.png][]

## 项目环境测试：Hive ##

目标：实现项目Hive环境的测试

实施

![0643db0b6a11422b890afdd466bc297c.png][]

\- Shuffle【分区、排序、分组】三种场景  
\- 重分区：repartition：分区个数由小变大  
\- 调用分区器对所有数据进行重新分区  
\- rdd1  
\- part0：1 2 3  
\- part1： 4 5 6  
\- rdd2：调用分区器【只有shuffle阶段才能调用分区器】  
\- part0：0 6  
\- part1：1 4  
\- part2：2 5  
\- 全局排序：sortBy  
\- part0：1 2 5  
\- part1： 4 3 6  
\- 方案：将所有数据放入磁盘  
\- 实现：对数据做了范围分区：将所有数据做了采样：4  
\- part0：6 5 4  
\- part1：3 2 1  
\- 全局分组：groupBy，reduceByKey

\- 关闭Hive容器

![48cff2d9f471488dbd269ad78e854877.png][]

## 项目环境测试：Spark ##

目标：实现项目Spark环境的测试

实施

![8db92b7fa924471b977a7b15bedc8b2e.png][]

![a6de6e26dcd146438777baf3991f3e87.png][]

## 项目环境测试：Sqoop ##

目标：实现项目Sqoop环境的测试

实施

![837f5a61cdb64d158bc3c5678ff51d8e.png][]

\- 实现项目Sqoop环境的测试

\#\# 要求

1. Python面向对象

\- 类和对象  
\- 方法

2. Hive中建表语法

\`\`\`  
create \[external\] table tbname(  
字段 类型 comment,  
)  
comment  
partitioned by  
clustered by col into N buckets  
row format  
stored as textfile  
location  
\`\`\`

[7d932a0e3f6b4f5480e425ddbc414de8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/be71b3fb746c4914b851ee7d94bf00d9.png
[efbff14b1b08447db46e0776c77f9e09.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/134d954b435441e690961fb598076e1f.png
[c3cadc52b2f74e53a48c62364c619a87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/de9d61682c4d4107b90ddf1875205be8.png
[04c9942442f6470e9b03f14d77cfbf79.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b6f8dbd0ff9f4979b2f335854b031d04.png
[d81bf3d51b964033b3c00af9d8f47aaa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9f920f0035004f8997bc0589f45d4e07.png
[40306a9b757c44fb9363f3032b181851.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/804e5628417a44be8264d337a9a589b9.png
[5bac95b5c4764e9a9a1292b005a3a4d0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/19d90d5bd5684fce8324664edfa4f66d.png
[20a39724441842fe89cfe7e23d517d3a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a1b240208b3743aaad05fb54c2a6785d.png
[493a510141bb40b0b92292f804257ba8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/325294056e6f4a689db3af208785fac8.png
[b8b19acab06b43629bacb560e9d83084.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/01e00a735d7540fca90c5e90e76fec2d.png
[e7013c3dfd1b43c7aac41480629e1d2a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f0e97e101b3e4cf7a4e9abada5365be8.png
[4fcf957240ce4950afdf7a8fd2cd7b48.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3311a907b4814335ba8022a9b578bfa1.png
[bffefcfa9f834e2f9d48845bc1ac5c12.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2a8263d28e1442e9bab8d01d7e647b90.png
[746e2948df6345f988de2ae16d506604.png]: https://img-blog.csdnimg.cn/746e2948df6345f988de2ae16d506604.png
[4e5e6a5bd05d483c84f1e8df33232333.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/0d363a98b17f45a6ad33ab9e43c5921b.png
[dc01e73e62724bcab22326376df68cb8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/30afeda3f5f94e72b57ec5c37cb71b9e.png
[1aba46edb3b8461ca6f8044581e80910.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/267aaf3afe9d4fed95327cfc1f7a4596.png
[7a9fa6768813492b8c5b013baadba539.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e0e793e1312445c888e4db5a66c1217d.png
[0643db0b6a11422b890afdd466bc297c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/28d4b80a26f54942b0457f7b95cc4bfd.png
[48cff2d9f471488dbd269ad78e854877.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7f56f89062954b0d81ecd1fd2d01551f.png
[8db92b7fa924471b977a7b15bedc8b2e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/fedbbfd75f484dc091d4a7c8eb9775d9.png
[a6de6e26dcd146438777baf3991f3e87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/bbcd017c7e464ab08acd9b65e8f82059.png
[837f5a61cdb64d158bc3c5678ff51d8e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9df3e642e9b843948dea8931d3520b85.png