漫画：什么是数据仓库？

小咪咪 2023-05-31 07:15 22阅读 0赞

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 3]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 4]

![640?wx\_fmt=png][640_wx_fmt_png]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 5]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 6]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 7]

**一个故事**

在很久很久以前，世界上生活着许多种族，有人类，有矮人，有精灵......他们有着不同的信仰，不同的文化，彼此相安无事。可是，有一个猥琐男却偏偏想要统治整个世界。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 8]

如何统治这么多不同文化信仰的种族呢？猥琐男想出一个馊主意，打造出几枚拥有魔力的戒指，免费送给不同种族的领袖，让他们可以更好地统治各自的族人。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 9]

当各个种族的领袖美滋滋地戴上各自的魔戒，走上人生巅峰的时候，猥琐男又打造出一枚独一无二的至尊魔戒。他利用至尊魔戒的力量控制了所有的魔戒，从而控制了各个种族的领袖，继而控制了整个世界。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 10]

这个故事告诉我们：数据库和数据仓库之间的关系。

如果说，那个世界的每一个生命个体都是一条数据记录，那么普通的魔戒的地位就好比是**数据库，**而至尊魔戒的地位就好比是**数据仓库。**

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 11]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 12]

**什么是数据仓库？**

数据仓库，英文名称Data Warehouse，简写为DW。数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。它为企业提供一定的BI（商业智能）能力，指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库的输入方是各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。

![640?wx\_fmt=png][640_wx_fmt_png 1]

那么，数据仓库都有什么特点呢？

**1.主题性**

不同于传统数据库对应于某一个或多个项目，数据仓库根据使用者实际需求，将不同数据源的数据在一个较高的抽象层次上做整合，所有数据都围绕某一**主题**来组织。

这里的主题怎么来理解呢？比如对于滴滴出行，“司机行为分析”就是一个主题，对于链家网，“成交分析”就是一个主题。

**2.集成性**

数据仓库中存储的数据是来源于多个数据源的集成，原始数据来自不同的数据源，存储方式各不相同。要整合成为最终的数据集合，需要从数据源经过一系列抽取、清洗、转换的过程。

**3.稳定性**

数据仓库中保存的数据是一系列历史快照，不允许被修改。用户只能通过分析工具进行查询和分析。

**4.时变性**

数据仓库会定期接收新的集成数据，反应出最新的数据变化。这和特点并不矛盾。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 13]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 14]

**什么是ETL？**

ETL的英文全称是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程：

1.**Extract，**数据抽取，也就是把数据从数据源读出来。

2.**Transform，**数据转换，把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下，Transform也包含数据清洗，清洗掉噪音数据。

3.**Load** 数据加载，把处理后的数据加载到目标处，比如数据仓库。

![640?wx\_fmt=png][640_wx_fmt_png 2]

**主流的数据仓库有哪些？**

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 15]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 16]

这个Hive又是何方神圣呢？![640?wx\_fmt=png][640_wx_fmt_png 3]

确切地说，Hive是基于Hadoop的数据仓库工具，可以对存储在**HDFS**上的文件数据集进行查询和分析处理。Hive对外提供了类似于SQL语言的查询语言 HiveQL，在做查询时将HQL语句转换成**MapReduce**任务，在Hadoop层进行执行。

![640?wx\_fmt=png][640_wx_fmt_png 4]

这里有几个名词需要解释：

**1.HDFS**

Hadoop的分布式文件系统，在这里作为数据仓库的存储层。图中的Data Node就是HDFS的众多工作节点。

**2.MapReduce**

一种针对海量数据的并行计算模型，可以简单理解为对多个数据分片的数据转换和合并。

关于HDFS和MapReduce的具体知识，这一期暂时不做展开，小灰会在后续的漫画中详细介绍。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 17]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 18]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 19]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 20]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 21]

Teradata数据仓库配备性能最高、最可靠的大规模并行处理 (MPP) 平台，能够高速处理海量数据，其性能远远高于Hive。

它使得企业可以专注于业务，无需花费大量精力管理技术，因而可以更加快速地做出明智的决策，实现 ROI（投资回报率） 最大化。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 22]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 23]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 24]

**更多观点，欢迎探讨。**

**◆ ◆ ◆ ◆**

**猜你喜欢：**

**觉得内容不错的话 请分享到朋友圈哦！**

![640?][640]

**▼**  **福利时刻**  **▼**

01. 公众号后台回复「经典」,即可领取大数据数据仓库经典电子书籍。

02. 公众号后台回复「加群」,或添加小助微信ID**：**iom1128 拉您入群。

技术大佬们在等你，各种资源定期分享~

Q: 关于数据仓库，你还想了解什么？

欢迎留言区与大家分享

觉得不错，请把这篇文章分享给你的朋友哦

投稿请联系小助手：iom1128『紫霞仙子』

更多精彩，请在后台点击“**数仓之路**”查看

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 25]

*！**关注不迷路~ 各种福利、资源定期分享**！*

[640_wx_fmt_jpeg]: /images/20230531/233e520c3f124daa8dc5380f6dcaf461.png
[640_wx_fmt_jpeg 1]: /images/20230531/eaffad19a0e6402194c12b20d175801b.png
[640_wx_fmt_jpeg 2]: /images/20230531/641950fbd9a2463cb1feaf93139c15b8.png
[640_wx_fmt_jpeg 3]: /images/20230531/cfd89f4ebfa347dda070cb63fa7aba9e.png
[640_wx_fmt_jpeg 4]: /images/20230531/b8a6dadc9c0c407eaf5e34974db099e7.png
[640_wx_fmt_png]: /images/20230531/39e3434e036545debb5ef99b74eed5ac.png
[640_wx_fmt_jpeg 5]: /images/20230531/facfc3d98eb44bd4a023a3b8e44a8eb0.png
[640_wx_fmt_jpeg 6]: /images/20230531/59d03c482fa741ee825e142a7ce41422.png
[640_wx_fmt_jpeg 7]: /images/20230531/6076252f2ba846f18dfd97aeda6c6953.png
[640_wx_fmt_jpeg 8]: /images/20230531/a57c82f4bef842c194c927dd13b6d480.png
[640_wx_fmt_jpeg 9]: /images/20230531/5abbcea185f74a4094eaa7357e08b46c.png
[640_wx_fmt_jpeg 10]: /images/20230531/3c53f9ffe4c744098e4b225e7c544c57.png
[640_wx_fmt_jpeg 11]: /images/20230531/e57955a4e8894cae803c5ed74854517e.png
[640_wx_fmt_jpeg 12]: /images/20230531/6ae1dba63ef443e19b1b9a0cb2467826.png
[640_wx_fmt_png 1]: /images/20230531/081be823b3a744489b69726c1da8554f.png
[640_wx_fmt_jpeg 13]: /images/20230531/2e109c201cd646268d8ca8bd8ad04b82.png
[640_wx_fmt_jpeg 14]: /images/20230531/be3dbbb582aa453b8517cd985eb162f7.png
[640_wx_fmt_png 2]: /images/20230531/ee7cec77332c469db25b4dfe12912f5a.png
[640_wx_fmt_jpeg 15]: /images/20230531/065e3147e1854c2fadbf936e93eeb2be.png
[640_wx_fmt_jpeg 16]: /images/20230531/51373f7868704292948a12bc3b14434d.png
[640_wx_fmt_png 3]: /images/20230531/d0c8210edf9d4087918f815fddb61bf2.png
[640_wx_fmt_png 4]: /images/20230531/efe72d2356494d2bb84320cd6f0dc14d.png
[640_wx_fmt_jpeg 17]: /images/20230531/c7d6b54774f74ae9892cce616b11dcac.png
[640_wx_fmt_jpeg 18]: /images/20230531/4f8535ce0a834038bd0d4818ddf67ff8.png
[640_wx_fmt_jpeg 19]: /images/20230531/551f5b30da45449cafa8e6596c1b9ddd.png
[640_wx_fmt_jpeg 20]: /images/20230531/987781e956424cdb88ad9d9cc6d9b938.png
[640_wx_fmt_jpeg 21]: /images/20230531/f5363eca762b4927b7bff7eff590e783.png
[640_wx_fmt_jpeg 22]: /images/20230531/9abb15fa197c4dccb0a98919c605831b.png
[640_wx_fmt_jpeg 23]: /images/20230531/c6ba2fb193934b94aacd6f280782508d.png
[640_wx_fmt_jpeg 24]: /images/20230531/647afcd2ed9445b085e651a01cf70959.png
[640]: /images/20230531/31177fc8be67491f8a38c18f8b1f6c43.png
[640_wx_fmt_jpeg 25]: /images/20230531/ece41dd476944c0a92d74a2e2d1b1874.png