数仓出局，数据湖

深藏阁楼爱情的钟 2022-09-04 11:57 216阅读 0赞

随着信息化进程的加快，传统数仓越来越无法适应海量数据存储和分析的需求，天下苦数据仓库久矣！

> 数仓只能存储结构化数据，无法采集存储非机构化数据
> 
> 数仓无法存储原始数据，所有数据须经过ETL清洗过滤
> 
> 离线数仓的数据表牵一发而动全身，数据调整工程量大
> 
> 实时数仓存储空间有限，无法采集和存储海量实时数据
> 
> 回溯效率低下，实时数据和离线数据计算接口统一问题

作为大数据变革的下一个风口，数据湖可以完美解决传统数仓的各大痛点。

触手可及的新未来：数据湖

数据湖是帮助企业实现**全量数据**单一存储的集中式存储库，**无需任何预处理**，可以存储**任意规模、任意类型、需求各种速度的数据**，包括**结构化、半结构化**和音视频、图片、文本等**非结构化**数据。

而且，数据湖通常存储**原始格式**的对象块或者文件，保证数据的**“原汁原味”**，对企业更加全面的抓取、分析和应用数据，创造更大的数据价值提供重要的基础支撑。

![图片][e231b89ed9968951d5b85b7daa2958a5.png]

数据湖理念**支持各种分析方式**，可以运行从控制面板、可视化、大数据处理、实时分析到机器学习等不同类型的分析。

不同于传统数仓的表模型建立方式，数据湖基于**读取型Schema**，采用**读****时模式**，能够根据业务需求灵活建表，大大提升了**敏捷性和精准度**。

使用传统数仓的企业，每个部门都只有自己的数据。数据湖**打破了“数据孤岛”**的闭塞，允许多种职能角色——**数据科学家、数据开发人员和业务分析师**等通过各自选择的分析工具和框架来访问数据，而**无须移动数据**，大大节省了定义数据结构、Schema和转换的时间。这不仅让**跨领域、跨平台、跨媒介的数据分析简单实现**，“**时空旅行**”的**回溯秒回功能**加持数据湖能够更敏捷地提供**全量和全生命周期的数据分析结果**和**数据预测分析服务**，灵活高效支撑企业各种决策的制定，真正助力企业实现降本增效，落地实现数智化转型发展。

![图片][5f19eb6be6f877b37b0e39bd85c52819.png]

通过数据湖技术可以实现**“敏捷”**地**统一存储**和**统一分析**，能够最大程度地解决大数据的痛点问题。

文章来源：[https://mp.weixin.qq.com/s/v1z4kBene6SofFurNkqRcQ][https_mp.weixin.qq.com_s_v1z4kBene6SofFurNkqRcQ]

[e231b89ed9968951d5b85b7daa2958a5.png]: /images/20220829/f5959a29733947409268fa155b070dea.png
[5f19eb6be6f877b37b0e39bd85c52819.png]: /images/20220829/254faae21bcf4b93bb07825dbc3f4e29.png
[https_mp.weixin.qq.com_s_v1z4kBene6SofFurNkqRcQ]: https://mp.weixin.qq.com/s/v1z4kBene6SofFurNkqRcQ