数据仓库建模

r囧r小猫 2023-02-14 01:57 166阅读 0赞

**1 ODS 层 层**

（1）保持数据原貌不做任何修改，起到备份数据的作用。  
（2）数据采用压缩，减少磁盘存储空间（例如：原始数据 100G，可以压缩到 10G 左右）  
（3）创建分区表，防止后续的全表扫描

**2 DWD 层**

DWD 层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。  
维度建模一般按照以下四个步骤：  
选择业务过程 → 声明粒度 → 确认维度 → 确认事实  
\*\* （1 ）选择业务过程\*\*  
在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流  
业务，一条业务线对应一张事实表。  
**（2 ）声明粒度**  
数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。  
声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择 最小粒度，以  
此来应各种各样的需求。  
典型的粒度声明如下：  
订单中，每个商品项作为下单事实表中的一行，粒度为每次下单  
每周的订单次数作为一行，粒度就是每周下单。  
每月的订单次数作为一行，粒度就是每月下单  
**（3 ）确定维度**  
维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。  
**（4 ）确定事实**  
此处的“事实”一词，指的是业务中的度量值，例如订单金额、下单次数等。  
在 DWD 层，以 业务过程为建模驱动，基于每个具体业务过程的特点，构建 最细粒度的  
明细层事实表。事实表可做适当的宽表化处理。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 1]  
至此，数仓的维度建模已经完毕，DWS、DWT 和 ADS 和维度建模已经没有关系了。DWS 和 DWT 都是建宽表，宽表都是按照主题去建。主题相当于观察问题的角度。对应着维度表。

**3 DWS 层**  
统计各个主题对象的当天行为，服务于 DWT 层的主题宽表，以及一些业务明细数据，应对特殊需求（例如，购买行为，统计商品复购率）。

DWS层宽表  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 2]  
**4 DWT 层**

以分析的 主题对象为建模驱动，基于上层的应用和产品的指标需求，构建主题对象的全量宽表。  
DWT层主题宽表  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 3]  
**5 ADS 层**

对电商系统各大主题指标分别进行分析。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200530201126786.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200530201140542.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200530201442693.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200530201537888.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw==,size_16,color_FFFFFF,t_70