Hive+Spark离线数仓工业项目实战--数仓设计及数据采集（1）

亦凉 2024-03-30 11:39 62阅读 0赞

## 数仓设计及数据采集 ##

1. \*\*数据仓库设计\*\*  
\- 建模：维度建模：【事实表、维度表】  
\- 分层：ODS、DW【DWD、DWM、DWS】、APP  
\- \*\*==掌握本次项目中数仓的分层==\*\*  
\- ODS、DWD、DWB、DWS、ST、DM  
2. 业务系统流程和数据来源  
\- 数据源  
\- 常见的数据表  
3. \*\*==数据采集==\*\*  
\- 核心1：实现自动化增量采集  
\- 核心2：Sqoop采集中的一个特殊问题以及解决方案

## 数仓设计回顾 ##

\- \*\*目标\*\*：了解数据仓库设计的核心知识点

\- \*\*路径\*\*

\- step1：分层  
\- step2：建模

\- \*\*实施\*\*

\- \*\*分层\*\*

\- 什么是分层？  
\- 本质：规范化数据的处理流程  
\- 实现：每一层在Hive中就是一个数据库  
\- 为什么要分层？  
\- 清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。  
\- 数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。  
\- 减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。  
\- 把复杂问题简单化：一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。  
\- 屏蔽原始数据的异常对业务的影响：不必改一次业务就需要重新接入数据  
\- 怎么分层？  
\- ODS：原始数据层/操作数据层，最接近与原始数据的层次，数据基本与原始数据保持一致  
\- DW：数据仓库层，实现数据的处理转换  
\- DWD：实现ETL  
\- DWM：轻度聚合  
\- DWS：最终聚合  
\- ADS/APP/DA：数据应用层

**建模**

**- 什么是建模？**

\- 本质：决定了数据存储的方式，表的设计

**- 为什么要建模？**

\- \*\*大数据系统需要数据模型方法来帮助更好地组织和存储数据，以便在性能、成本、效率和质量之间取得最佳平衡。\*\*  
\- 性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的I/O吞吐  
\- 成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本  
\- 效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据的效率  
\- 质量：良好的数据模型能改善数据统计口径的不一致性，减少数据计算错误的可能性

**- 有哪些建模方法？**

\- ER模型：从全企业的高度设计一个 3NF 【三范式】模型，用实体关系模型描述企业业务，满足业务需求的存储  
\- \*\*维度模型\*\*：从分析决策的需求出发构建模型，为分析需求服务，重点关注用户如何更快速的完成需求分析，具有较好的大规模复杂查询的响应性能  
\- Data Vault：ER 模型的衍生，基于主题概念将企业数据进行结构化组织，并引入了更进一步的范式处理来优化模型，以应对源系统变更的扩展性  
\- Anchor：一个高度可扩展的模型，核心思想是所有的扩展知识添加而不是修改，因此将模型规范到 6NF，基本变成了 k-v 结构化模型

**- 怎么构建维度模型步骤？**

\- a.选择业务过程：你要做什么？  
\- b.声明粒度：你的分析基于什么样的颗粒度？  
\- c.确认环境的维度：你的整体有哪些维度？  
\- d.确认用于度量的事实：你要基于这些维度构建哪些指标？

**具体的实施流程是什么？**

\- a.需求调研：业务调研和数据调研  
  
\- 业务调研：明确分析整个业务实现的过程  
\- 数据调研：数据的内容是什么  
  
\- b.划分主题域：面向业务将业务划分主题  
  
\- 构建哪些主题域以及每个主题域中有哪些主题  
  
\- 服务域：工单主题、回访主题、物料主题  
  
\- c.构建维度总线矩阵：明确每个业务主题对应的维度关系  
  
![c4154f6e3c9d4d6386c93d79604b8e2d.png][]  
  
\- d.明确指标统计：明确所有原生指标与衍生指标  
  
\- 工单主题：安装工单个数、维修工单个数……  
\- 回访主题：用户满意个数、不满意个数、服务态度不满意个数、技术能力不满意个数  
  
\- e.定义事实与维度规范  
  
\- 分层规范  
\- 开发规范  
\- ……  
  
\- f.代码开发  
  
\- 事实表  
  
\- 表的分类  
\- 事务事实表：原始的事务事实的数据表，原始业务数据表  
\- 周期快照事实表：周期性对事务事实进行聚合的结果  
\- 累计快照事实表：随着时间的变化，事实是不定的，不断完善的过程  
\- 无事实事实表：特殊的事实表，里面没有事实，是多个维度的组合，用于求事实的差值  
\- 值的分类  
\- 可累加事实：在任何维度下指标的值都可以进行累加  
\- 半可累加事实：在一定维度下指标的值都可以进行累加  
\- 不可累加事实：在任何维度下指标的值都不可以进行累加  
  
\- 维度表  
  
\- 维度设计模型  
\- 雪花模型：维度表拥有子维度表，部分维度表关联在维度表中，间接的关联事实表  
\- \*\*==星型模型/星座模型==\*\*：维度表没有子维度，直接关联在事实表上，星座模型中有多个事实  
\- 上卷与下钻  
\- 上卷：从小维度到一个大的维度，颗粒度从细到粗  
\- 下钻：从大维度到一个小的维度，颗粒度从粗到细  
  
\- 拉链表  
  
\- 功能：解决事实中渐变维度发生变化的问题，通过时间来标记维度的每一种状态，存储所有状态  
  
\- 实现  
\- step1：先采集所有增量数据到更新表中  
\- step2：将更新表的数据与老的拉链表的数据进行合并写入一张临时表  
\- step3：将临时表的结果覆盖到拉链表中

## 分层整体设计 ##

掌握油站分析项目中的分层整体设计

实施

![315672ae29324b34b6fa9c13a44ca8fb.png][]

ODS：原始数据层：最接近于原始数据的层次，直接采集写入层次：\*\*原始事务事实表\*\*  
\- \*\*DWD\*\*：明细数据层：对ODS层的数据根据业务需求实现ETL以后的结果：ETL以后事务事实表  
\- \*\*DWB\*\*：基础数据层：类似于以前讲解的DWM，轻度聚合  
\- 关联：将主题事实的表进行关联，所有与这个主题相关的字段合并到一张表  
\- 聚合：基于主题的事务事实构建基础指标  
\- \*\*主题事务事实表\*\*  
\- \*\*ST\*\*：数据应用层：类似于以前讲解的APP，存储每个主题基于维度分析聚合的结果：\*\*周期快照事实表\*\*  
\- 供数据分析的报表  
\- \*\*DM\*\*：数据集市：按照不同部门的数据需求，将暂时没有实际主题需求的数据存储  
\- 做部门数据归档，方便以后新的业务需求的迭代开发  
\- \*\*DWS\*\*：维度数据层：类似于以前讲解的DIM：存储\*\*维度数据表\*\*

\- 数据仓库设计方案  
\- 从上到下：在线教育：先明确需求和主题，然后基于主题的需求采集数据，处理数据  
\- 场景：数据应用比较少，需求比较简单  
\- \*\*==上下到上==\*\*：一站制造：将整个公司所有数据统一化在数据仓库中存储准备，根据以后的需求，动态直接获取数据  
\- 场景：数据应用比较多，业务比较复杂

\- \*\*小结\*\*

\- 掌握油站分析项目中的分层整体设计  
\- ODS：原始数据层  
\- DWD：明细数据层  
\- DWB：轻度汇总层  
\- ST：数据应用层  
\- DM：数据集市层  
\- DWS：维度数据层

## 分层具体功能 ##

\- \*\*目标\*\*：掌握油站分析的每层的具体功能  
\- \*\*实施\*\*  
\- \*\*ODS\*\*  
\- 数据内容：存储所有原始业务数据，基本与Oracle数据库中的业务数据保持一致  
\- 数据来源：使用Sqoop从Oracle中同步采集  
\- 存储设计：Hive分区表，avro文件格式存储，保留3个月  
\- \*\*DWD\*\*  
\- 数据内容：存储所有业务数据的明细数据  
\- 数据来源：对ODS层的数据进行ETL扁平化处理得到  
\- 存储设计：Hive分区表，orc文件格式存储，保留所有数据  
\- \*\*DWB\*\*  
\- 数据内容：存储所有事实与维度的基本关联、基本事实指标等数据  
\- 数据来源：对DWD层的数据进行清洗过滤、轻度聚合以后的数据  
\- 存储设计：Hive分区表，orc文件格式存储，保留所有数据  
\- \*\*ST\*\*  
\- 数据内容：存储所有报表分析的事实数据  
\- 数据来源：基于DWB和DWS层，通过对不同维度的统计聚合得到所有报表事实的指标  
\- \*\*DM\*\*  
\- 数据内容：存储不同部门所需要的不同主题的数据  
\- 数据来源：对DW层的数据进行聚合统计按照不同部门划分  
\- \*\*DWS\*\*  
\- 数据内容：存储所有业务的维度数据：日期、地区、油站、呼叫中心、仓库等维度表  
\- 数据来源：对DWD的明细数据中抽取维度数据  
\- 存储设计：Hive普通表，orc文件 + Snappy压缩  
\- 特点：数量小、很少发生变化、全量采集  
\- \*\*小结\*\*  
\- 掌握油站分析的每层的具体功能

## 业务系统结构 ##

了解一站制造中的业务系统结构

实施

数据来源

\- 业务流程  
\- 油站站点联系呼叫中心，申请工单  
\- 呼叫中心分派工单给工程师  
\- 工程师完成工单  
\- 工程师费用报销  
\- 呼叫中心回访工单

![51b7d7cff5e34673a6e6e04b2e9c726d.png][]

\- \*\*ERP系统\*\*：企业资源管理系统，存储整个公司所有资源的信息  
\- 所有的工程师、物品、设备产品供应链、生产、销售、财务的信息都在ERP系统中  
\- \*\*CISS系统\*\*：客户服务管理系统，存储所有用户、运营数据  
\- 工单信息、用户信息  
\- \*\*呼叫中心系统\*\*：负责实现所有客户的需求申请、调度、回访等  
\- 呼叫信息、分配信息、回访信息

\- \*\*组织结构\*\*

\- 运营部（编制人数300人）  
\- 负责服务策略制定和实施，对服务网络运营过程管理。部门职能包括物料管理、技术支持、服务效率管理、服务质量控制、服务标准化和可视化实施等工作。承担公司基础服务管理方面具体目标责任  
\- 综合管理部（编制人数280人）  
\- 下属部门有呼叫中心、信息运维、人事行政、绩效考核与培训、企划部等部门。负责公司市场部、运营部、财务部等专业业务以外的所有职能类工作，包括行政后勤管理、劳动关系、绩效考核与培训、企划宣传、采购需求管理、信息建设及数据分析、公司整体目标和绩效管理等工作。  
\- 市场部（编制人数50人）  
\- 负责客户需求开发、服务产品开发、市场拓展与销售管理工作，执行销售策略、承担公司市场、销售方面具体目标责任。  
\- 财务部（编制人数10人）  
\- 负责服务公司财务收支、费用报销、报表统计、财务分析等财务管理工作  
\- 市场销售服务中心（编制人数4000人）  
\- 负责服务产品销售，设备的安装、维护、修理、改造等工作，严格按照公司管理标准实施日常服务工作

\- \*\*业务流程\*\*

![05c8dbeded1e4eb593bf7de4b3232314.png][]

## 业务系统数据 ##

熟悉业务系统核心数据表

实施

切换查看数据库

![76e1344b5e1b4f36a313ac55e4e7cc39.png][]

查看数据表

\- CISS\_BASE：基础数据表  
\- 报销项目核算、地区信息、服务商信息、设备信息、故障分类、出差补助信息、油站基础信息等  
\- CISS\_SERVICE、CISS\_S：服务数据表  
\- 来电受理单信息、改派记录信息、故障更换材料明细信息、综合报销信息、服务单信息、安装单、维修单、改造单信息  
\- CISS\_MATERIAL、CISS\_M：仓储物料表  
\- 物料申明明细信息、网点物料调配申请等  
\- ORG：组织机构数据  
\- 部门信息、员工信息等  
\- EOS：字典信息表  
\- 存放不同状态标识的字典

核心数据表

![4391ae01b59741b8a7cd831d44467ee5.png][]

\- 运营分析  
\- 工单分析、安装分析、维修分析、巡检分析、改造分析、来电受理分析  
\- 提高服务质量  
\- 回访分析  
\- 运营成本核算  
\- 收入、支持分析

## 全量与增量分析 ##

了解全量表与增量表数据采集需求  
实施  
全量表  
\- 所有维度数据表  
\- 场景：不会经常发生变化的数据表，例如维度数据表等  
\- 数据表：组织机构信息、地区信息、服务商信息、数据字典等  
\- 表名：参考文件《full\_import\_tables.txt》  
\- \*\*增量表\*\*  
\- 所有事务事实的数据表  
\- 场景：经常发生变化的数据表，例如业务数据、用户行为数据等  
\- 数据表：工单数据信息、呼叫中心信息、物料仓储信息、报销费用信息等  
\- 表名：参考文件《incr\_import\_tables.txt》

## Sqoop命令回顾 ##

目标：掌握Sqoop常用命令的使用

路径

\- step1：语法  
\- step2：数据库参数  
\- step3：导入参数  
\- step4：导出参数  
\- step5：其他参数

实施

语法

![1c2985875e3a4001b0ffb9a695a94ffc.png][]

\- \*\*数据库参数\*\*

\- --connect jdbc:mysql://hostname:3306  
\- --username  
\- --password  
\- --table  
\- --columns  
\- --where  
\- -e/--query

\- \*\*导入参数\*\*

\- --delete-target-dir  
\- --target-dir  
\- --hcatalog-database  
\- --hcatalog-table

\- \*\*导出参数\*\*

\- --export-dir  
\- --hcatalog-database  
\- --hcatalog-table

\- \*\*其他参数\*\*

\- -m

![580b4a85b4064de189b5d183c492828d.png][]

\- 查看结果

![dfd92d603a3349d5973131cdc0fafab5.png][]

## YARN资源调度及配置 ##

实现YARN的资源调度配置

实施

\- 常用端口记住：排错

\- NameNode：8020,50070  
\- ResourceManager：8032,8088  
\- JobHistoryServer：19888  
\- Master：7077,8080  
\- HistoryServer：18080

\- YARN调度策略

\- FIFO：不用  
\- 单队列，队列内部FIFO，所有资源只给一个程序运行  
\- Capacity：Apache  
\- 多队列，队列内部FIFO，资源分配给不同的队列，队列内部所有资源只给一个程序运行  
\- Fair：CDH  
\- 多队列，队列内部共享资源，队列内部的资源可以给多个程序运行

\- YARN面试题

\- 程序提交成功，但是不运行而且不报错，什么问题，怎么解决？  
\- 资源问题：APPMaster就没有启动  
\- 环境问题  
\- NodeManager进程问题：进程存在，但不工作  
\- 机器资源不足导致YARN或者HDFS服务停止：磁盘超过90%，所有服务不再工作  
\- 解决：实现监控告警：80%，邮件告警  
\- YARN中程序运行失败的原因遇到过哪些？  
\- 代码逻辑问题  
\- 资源问题：Container  
\- Application / Driver：管理进程  
\- MapTask和ReduceTask / Executor：执行进程  
\- 解决问题：配置进程给定更多的资源

![69727ad747604b0eafc91eebb6342d78.png][]

**问题3：怎么提高YARN集群的并发度？**

\- 物理资源、YARN资源、Container资源、进程资源

![35dc4a326abb40b396b004051c47282a.png][]

![0ad587f21b6648098cd962298e783d05.png][]

![a0a2f00f015d4de28a1fcb8b5780a0b1.png][]

[c4154f6e3c9d4d6386c93d79604b8e2d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3e5e76f581d043559419d2707eda0d70.png
[315672ae29324b34b6fa9c13a44ca8fb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/049a21943b2d4a62a297a62d3680b004.png
[51b7d7cff5e34673a6e6e04b2e9c726d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/751dc5f2f00a42b7a4d3ff7b18942529.png
[05c8dbeded1e4eb593bf7de4b3232314.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/85e3e1cbf6c149ee8a13c854fd5ef13e.png
[76e1344b5e1b4f36a313ac55e4e7cc39.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/74e8ab6cea8d499096c785a056a81599.png
[4391ae01b59741b8a7cd831d44467ee5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4a2437b9bc4c477c9c7bad2cd68960c9.png
[1c2985875e3a4001b0ffb9a695a94ffc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3903b784a86344a48225a650c49387ec.png
[580b4a85b4064de189b5d183c492828d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/26d0aec572294310aa836efc2d847b3c.png
[dfd92d603a3349d5973131cdc0fafab5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/45fbe44b37554e92a1eb78177e181d10.png
[69727ad747604b0eafc91eebb6342d78.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e84839925b64416f87c2cf0af632ba88.png
[35dc4a326abb40b396b004051c47282a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3f87b7b34f724aa69d1e4a25c1a58dec.png
[0ad587f21b6648098cd962298e783d05.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/aea7b6ca9a1b428c8f4392c6716d7635.png
[a0a2f00f015d4de28a1fcb8b5780a0b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/110b1247202d4c9680c6a25daca64726.png