企业级技术与大数据BI——节选自专著《Big Data Fundamentals: Concepts, Drivers & Techniques》

布满荆棘的人生 2023-02-23 08:18 12阅读 0赞

**作者**： Paul Buhler，Arcitura公司。  
Thomas Erl，Arcitura公司。  
Wajid Khattak，Modus21公司。  
**内容：**  
企业级技术与大数据BI是专著《Big Data Fundamentals: Concepts, Drivers & Techniques》的第4章。作者将该部分分为7个部分：（1）OLTP；（2）OLAP；（3）ETL；（4）DW；（5）Data market；（6）传统BI；（7）大数据BI。  
作者将企业级技术与大数据BI的划分结构是十分合理的。  
**0 前言**  
在一个如同分层系统来执行业务的企业里，战略层限制战术层，战术层限制操作层。各层之间能达到和谐一致是通过各种度量和绩效指标来实现的，这些度量和绩效指标指导操作层如何去处理业务。  
这些度量聚合起来，再赋予一些额外的意义，便成为了关键绩效指标。关键绩效指标是战术层赖以评价公司绩效或者业务执行的关键。  
关键绩效指标会与其它用来评估关键成功因素的度量相关联起来，最终这一系列丰富的度量指标便对应着由数据转化为信息，信息转化为知识，知识转化为智慧。  
即：  
操作层——战术层——战略层  
信息——知识——智慧  
绩效指标——关键绩效指标——（战略）指标  
相应的应该有：  
DB——DW——无  
信息系统——分析处理系统——复杂的查询+指导业务操作  
**1 OLTP**  
OLTP系统是一个处理面向事务型数据的软件系统。”联机事务”这个术语意指实时完成某项活动。OLTP系统存储经过规范化的操作数据，这些数据是结构化数据的一个常见来源、是分析处理的输入。大数据分析结构可以增强存储在底层RDB的OLTP数据。  
![图1  OLTP系统常见的案例的模型][1 OLTP]  
OLTP系统支持的操作=插入+删除+更新，这些操作的反映时间是压秒级。常见的案例：订票系统、银行业务系统、POS系统。  
**2 OLAP**  
OLAP系统处理数据分析操作。OLAP对BI、DM和机器学习重要。它们与大数据有关联，因为它们既能作为数据源，也能接收数据。OLAP可用于诊断性分析、预测性分析、规范性分析。  
![图2  OLTP系统使用多维DB][2 OLTP_DB]  
OLAP系统使用多维DB完成耗时、复杂操作。该多维DB是为执行高级分析而优化的结构。  
OLAP系统会存储一些聚集起来且去结构化的、支持快速汇报能力的历史数据。它们进一步运用了一些多维数据结构来存储历史数据的数据库，同时有基于多领域数据之间的关系来回答复杂操作的能力。  
**3 ETL**  
ETL是一个将数据从源系统中加载到目标系统中的过程。  
源系统可以是一个数据库、一个平面文件或一个应用。  
目标系统可以是一个数据库或其它存储系统。  
![图3  ETL][3 ETL]  
ETL表示了DW被喂食数据的主要过程。一份大数据解决方案是围绕着ETL的特征集来的，将各种不同类型的数据进行转换。  
**4 DW**  
一个DW是一个由历史数据与当前数据组成的中央的、企业级的仓库。数据库常常被BI用来运行各种各样的分析操作，并且它们经常会与一个OLAP系统交互来支持多维分析操作。  
![DW][]

从不同的业务系统而来的多数商业实体相关的数据会被周期性地E、T、L，最终合并到一个单独的去规范化的DB。由于有着来自于整个企业周期性的数据输入，一个给定的DW中的数据量会持续性地增长，导致数据分析任务的反映越来越慢。因此，DW往往包含被称为分析型DB的经过优化的DB，来处理报告与数据分析的任务。一个分析型DB能作为一个单独的关系系统存在，例如一个ILAP。

**5 DM**  
DM是存储在DW里的一个数据子集。DM术语一个分公司、一个部门、特定的业务范围。DW可以有多个DM。  
![DM][]

企业级数据被整合，然后商业实体被提取。特定领域的实体通过ETL过程被插入DW。

**6 传统BI**  
传统BI主要使用描述性和诊断性分析来为历史活动或现今活动提供数据。并不智能，因为智能为正确格式的问题提供答案。可以正确阐述问题需要对商务事务和数据本身的理解。BI通过即席报表、仪表板对不同关键绩效指标作报告。  
**6.1 即席报表**  
即席报表是一个涉及了人工处理数据来产生定制汇报的过程。  
![图6  即席报表][6]  
一次即席报表的重点在于它是基于商业中的一个特定领域的，比如他的营销管理、供应链管理。生成的特定汇报是具有丰富细节的，在性质上通常呈现扁平化风格。  
**6.2 仪表板**  
仪表板会提供关键商务领域的全局视野。展示在仪表板中的信息有着实时或近实时的周期性间隔，仪表板中的数据展示是图表状。  
![图7  仪表板][7]  
DW和DM含有来自整个企业的商务实体的经过归一和验证过的信息。传统的BI在离不开DM，因为DM含有BI为了汇报用途所需的经过优化和独立的数据。如果没有DM，每运行一个操作=基于ETL从DW中临时E。增加成本。  
传统BI用DW、DM进行汇报、数据分析，因为它们允许带了多重连接及聚合复杂分析操作的实现。  
![图8  传统BI][8 _BI]

**7 大数据BI**  
大数据BI通过对DW中干净的、统一的、企业范围的数据进行操作，并将之与半结构化、非结构化的数据源结合起来，且基于传统BI来建构。它同时包含了预测性分析、规范性分析，来加快上午绩效的企业级理解。  
传统BI分析关注单个业务流程，big data BI关注同时处理多重业务进程给。有利于从更广角度揭露企业内的模式、异常。用以前未知的、深入的洞察性视角和信息来实现Data Mining。  
大数据BI对存储在企业级DW中的非结构化、半结构化、结构化数据进行analysis。这need新型特征和technology的下一代DW，存储辣子不同源的统一数据格式的干净数据。

[1 OLTP]: https://img-blog.csdnimg.cn/2020070613414812.png
[2 OLTP_DB]: https://img-blog.csdnimg.cn/20200706134218715.png
[3 ETL]: https://img-blog.csdnimg.cn/20200706134239300.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bjg5NzgyNzgwNA==,size_16,color_FFFFFF,t_70
[DW]: https://img-blog.csdnimg.cn/2020070613430038.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bjg5NzgyNzgwNA==,size_16,color_FFFFFF,t_70
[DM]: https://img-blog.csdnimg.cn/20200706134318387.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bjg5NzgyNzgwNA==,size_16,color_FFFFFF,t_70
[6]: https://img-blog.csdnimg.cn/20200706134348588.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bjg5NzgyNzgwNA==,size_16,color_FFFFFF,t_70
[7]: https://img-blog.csdnimg.cn/2020070613440811.png
[8 _BI]: https://img-blog.csdnimg.cn/20200706134425705.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bjg5NzgyNzgwNA==,size_16,color_FFFFFF,t_70