开源大数据：Iceberg新一代数据湖技术实践

拼搏现实的明天。 2022-10-10 09:44 33阅读 0赞

## 数据湖三剑客 ##

![20210627110645409.png][]

## 1、[Iceberg][] 基本结构 ##

1-1、Iceberg 表格式

Apache Iceberg是一种用于大型分析数据集的开放表格格式。Iceberg向Trino和Spark添加了使用高性能格式的表，其工作方式就像SQL表一样

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VqaW54aWFu_size_16_color_FFFFFF_t_70][]

## 2、Icebreg 核心 ##

通过快照方式，在时间延续上记录表的所有变化

2-1、某个时间节点，表的所有数据文件列表

2-2、每次更新操作都生成新的快照

2-3、实现数据：原子性、读写分离、时间延续和回滚、增量消费

## 3、Icebreg 元数据管理 ##

3-1、元数据：结构、分区信息、属性、快照记录

3-2、分成：HMS 或文件内容、元数据JSON、快照、数据文件

## 4、Icebreg 应用 ##

4-1、优化导入流程：Icebreg 提供ACID 事务能力，读写分离，写入可见，不影响当前数据处理，简化ETL

4-2、多种分析引擎：优秀的内核便于适应各种特定引擎，目前支持：Spark、Trino、Flink、Presto、Hive。

4-3、统一存储：批任务和流任务可以使用相同的存储数据模型(文件系统、对象存储)，数据不再孤立，支持隐藏分区和分区进化，方便业务进行数据分区策略，Parquet,ORC,Avro 列存储和行存储的兼顾。

4-4、增量处理能力：Icebreg 支持流式数据的落地和增量消费、Spark Structured Straming 适配，Flink sink .source适配

[20210627110645409.png]: /images/20221005/f72bef36361242da9ebf469f963770a8.png
[Iceberg]: https://iceberg.apache.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VqaW54aWFu_size_16_color_FFFFFF_t_70]: /images/20221005/0b456edfb1c54b518d9beda8e885de5b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，33人围观）

还没有评论，来说两句吧...

相关阅读

相关【大数据入门核心技术-Iceberg】（二）Iceberg与Hive集成

一、环境准备 Hive与Iceberg的版本对应关系如下 <table style="width:417.95pt;"> <tbody> <tr> <

╰+哭是因爲堅強的太久メ/ 2024年02月23日 07:29/ 0 赞/ 60 阅读

相关【大数据入门核心技术-Iceberg】（八）Iceberg与Flink基本Shell操作

一、创建和使用 Catalog 1、Hive Catalog 1）上传hive connector到flink的lib中 wget https://rep

Bertha 。/ 2024年02月21日 10:07/ 0 赞/ 30 阅读

相关【大数据入门核心技术-Iceberg】（七）Iceberg与Flink整合

一、下载部署 wget https://search.maven.org/remotecontent?filepath=org/apache/iceberg/ice

快来打我*/ 2024年02月21日 10:06/ 0 赞/ 58 阅读

相关【大数据入门核心技术-Iceberg】（二）Iceberg与Hive整合

一、下载和配置 Iceberg与Hive 2和Hive 3.1.2/3的集成，支持以下特性：创建表删除表读取表插入表（INSERT in

电玩女神/ 2024年02月21日 07:36/ 0 赞/ 74 阅读

相关【大数据入门核心技术-Iceberg】（一）Iceberg介绍

一、Iceberg简介 1.1、概述为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化

心已赠人/ 2024年02月21日 07:31/ 0 赞/ 77 阅读

相关【大数据入门核心技术-Iceberg】（五）Iceberg与Spark基本Shell操作

一、SQL操作 1、创建表 use hadoop_prod; create database default; use default;

客官°小女子只卖身不卖艺/ 2024年02月21日 04:23/ 0 赞/ 45 阅读

相关【大数据入门核心技术-Iceberg】（四）Iceberg与Spark整合

一、下载部署 wget https://search.maven.org/remotecontent?filepath=org/apache/iceberg/ice

末蓝、/ 2024年02月21日 04:20/ 0 赞/ 38 阅读

相关 Flink + Iceberg + 对象存储，构建数据湖方案

简介：上海站 Flink Meetup 分享内容，如何基于Flink、对象存储、Iceberg 来构建数据湖生态。 > 本文整理自 Dell 科技集团高级软件研发经理孙伟在

梦里梦外;/ 2023年01月23日 13:48/ 0 赞/ 188 阅读

相关开源大数据：Iceberg新一代数据湖技术实践

数据湖三剑客 ![20210627110645409.png][] 1、[Iceberg][] 基本结构 1-1、Iceberg 表格式 Apa

拼搏现实的明天。/ 2022年10月10日 09:44/ 0 赞/ 34 阅读

相关开源大数据：数据湖

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VqaW54

Love The Way You Lie/ 2022年10月10日 09:41/ 0 赞/ 408 阅读