数据架构演进史（下）

女爷i 2023-10-12 13:01 9阅读 0赞

> 数据架构的演变（下）

微信搜索关注《Java学研大本营》，加入读者群，分享更多精彩

### 数据网格 ###

数据仓库和数据湖架构是集中式实施，限制了消费数据的可扩展性和可用性。这些实现需要很长时间，限制了对数据的领域理解，并且更面向技术而不是面向最终用户。它们由数据工程专家设计和拥有，这些专家不容易大量获得，这也是分析数据的可扩展性和民主化的限制。这些数据工程师远离生成数据的业务应用程序；因此，它缺乏业务背景和数据意义。

已开发数据网格架构/概念来应对这些挑战。在这种方法中，数据被组织为数据产品以及各种功能/主题领域或领域。它们归负责业务应用程序的人员所有，因此他们了解数据的业务上下文、含义和用途。这些数据产品所有者在数据工程师的帮助下设计和分发分析数据产品。将有一个这些分析数据产品的目录，组织中的每个消费者都可以看到、了解其上下文、使用任何给定的数据产品并进行相应的解释。

![840959787057ed5f53a0ad3263caa509.png][]

数据网格

Data Mesh 的核心原则本质上是：

*  数据作为产品
 *  面向领域的去中心化数据所有权
 *  自助服务平台
 *  设计和架构的联合治理

Data Mesh 仍然是数据架构的一种方法。目前市场上还没有实现这种架构的产品。

### 数据结构 ###

Data Fabric 也在尝试解决 Data Mesh 正在尝试解决的相同问题。然而，他们的方法却截然不同。Data Mesh 是一个领域和面向业务的分布式方法，而 Data Fabric 是一种集中式元数据驱动和以技术为中心的方法。

Data Fabric 是使用元数据、目录、逻辑数据模型和数据传输 API 开发的。一部分数据被虚拟化，而其余数据被集中起来，就像一个数据仓库。它与集中管理的数据生命周期管理策略相辅相成，例如：

*  数据治理——主动元数据管理、访问控制、沿袭、质量
 *  隐私——屏蔽/编辑敏感信息，如信用卡和个人数据
 *  数据架构演进史（上）PR、HIPPA、FCRA SAP Data Intelligence、IBM 的 Cloud Pak for Data、Oracle Coherence 和 Talend Data Fabric 是该领域的一些可用产品。

Denodo 是另一个更多关于数据虚拟化技术的产品，它是数据结构方法的核心部分。

![2fc0fe01d67bed3a57f7a668c9411d2a.png][]

数据结构

### Lakehouse建筑 ###

在Data Lake架构中，由于不同的数据访问需求，每种类型的分析工作负载都需要自己的数据管道，导致对相同数据的理解和使用不一致。

它还在分析应用程序（消费者）和生成数据的业务应用程序（源）之间引入了一层数据存储。首先，数据必须进入数据湖，然后转移到消费应用程序，这可能会在关键洞察力被付诸行动时降低其价值。

数据湖不支持事务性应用程序，并且有许多其他限制，如上一节所述。

Lakehouse 架构试图通过为所有类型的数据分析工作负载提供一个通用接口来解决这些问题。它支持事务应用程序的 ACID 属性。它本质上结合了数据仓库和数据湖架构的优势，同时解决了两者的挑战。

![ad6585966a0e900d5e171e51f796fc60.png][]

Lakehouse结构

### 结论 ###

数据架构一直在不断发展，以满足对各种分析和认知工作负载不断增长的需求，利用云和大数据技术的创新。根据组织在数据分析成熟度、它持有的数据的多样性以及它需要的分析工作负载的类型，可以选择特定类型的数据架构。虽然 Lakehouse 架构拥有世界上最好的架构的承诺，但它是新的并且尚未成熟以得到更广泛的采用。

数据架构是所有业务数据策略的核心；因此，关注它们至关重要。通过针对您的特定用例的正确数据架构，您可以确保数据策略的成功实施。

### 推荐书单 ###

#### 《项目驱动零起点学Java》 ####

《项目驱动零起点学Java》共分 13 章，围绕 6 个项目和 258 个代码示例，分别介绍了走进Java 的世界、变量与数据类型、运算符、流程控制、方法、数组、面向对象、异常、常用类、集合、I/O流、多线程、网络编程相关内容。《项目驱动零起点学Java》总结了马士兵老师从事Java培训十余年来经受了市场检验的教研成果，通过6 个项目以及每章的示例和习题，可以帮助读者快速掌握Java 编程的语法以及算法实现。扫描每章提供的二维码可观看相应章节内容的视频讲解。

《项目驱动零起点学Java》贯穿6个完整项目，经过作者多年教学经验提炼而得，项目从小到大、从短到长，可以让读者在练习项目的过程中，快速掌握一系列知识点。

马士兵，马士兵教育创始人，毕业于清华大学，著名IT讲师，所讲课程广受欢迎，学生遍布全球大厂，擅长用简单的语言讲授复杂的问题，擅长项目驱动知识的综合学习。马士兵教育获得在线教育“名课堂”奖、“最受欢迎机构”奖。

赵珊珊，从事多年一线开发，曾为国税、地税税务系统工作。拥有7年一线教学经验，多年线上、线下教育的积累沉淀，培养学员数万名，讲解细致，脉络清晰。

[《项目驱动零起点学Java》(马士兵，赵珊珊)【摘要 书评 试读】- 京东图书京东JD.COM图书频道为您提供《项目驱动零起点学Java》在线选购，本书作者：，出版社：清华大学出版社。买图书，到京东。网购图书，享受最低优惠折扣!![icon-default.png_t_N4P3][]https://item.jd.com/13607758.html][Java_ _ _- _JD.COM_Java_icon-default.png_t_N4P3_https_item.jd.com_13607758.html]

![2b7fd88e641b42abb2c376cdb2ab3f45.jpeg][]

> > > > ### 精彩回顾 ###
> > 
> > [部署Spring Boot应用程序][Spring Boot]
> > 
> > [Java Spring Boot 3.0.0 RC1 震撼登场!][Java Spring Boot 3.0.0 RC1]

> > 微信搜索关注《Java学研大本营》
> > 
> > 访问【IT今日热榜】，发现每日技术热点

[840959787057ed5f53a0ad3263caa509.png]: https://img-blog.csdnimg.cn/img_convert/840959787057ed5f53a0ad3263caa509.png
[2fc0fe01d67bed3a57f7a668c9411d2a.png]: https://img-blog.csdnimg.cn/img_convert/2fc0fe01d67bed3a57f7a668c9411d2a.png
[ad6585966a0e900d5e171e51f796fc60.png]: https://img-blog.csdnimg.cn/img_convert/ad6585966a0e900d5e171e51f796fc60.png
[icon-default.png_t_N4P3]: https://csdnimg.cn/release/blog_editor_html/release2.3.0/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N4P3
[Java_ _ _- _JD.COM_Java_icon-default.png_t_N4P3_https_item.jd.com_13607758.html]: https://item.jd.com/13607758.html
[2b7fd88e641b42abb2c376cdb2ab3f45.jpeg]: https://img-blog.csdnimg.cn/2b7fd88e641b42abb2c376cdb2ab3f45.jpeg
[Spring Boot]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247485902&idx=1&sn=f8a8b41aa78df26fbb4171bf8b14c938&chksm=c27a0614f50d8f02690b33e16513185067ad3fad6638a7f6eaf1a2b03bf01ed3fad164339cb8&scene=21#wechat_redirect
[Java Spring Boot 3.0.0 RC1]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247485911&idx=1&sn=33ccbc9f8c9f98de24e05cdae26767f7&chksm=c27a060df50d8f1bb9d16fc293b5bd94faabacf4763d20f60a4962e709f1bd60efae4dd5a4ec&scene=21#wechat_redirect