数据湖架构开发-Hudi入门教程

清疚 2023-10-07 18:04 28阅读 0赞

当下大数据技术在工业环境中应用，主要构建离线数仓和实时数仓，进行大规模数据管理和分析。为了更好管理数据，出现**数据湖DataLake**：用来存储大量的原始数据。**当下最流行数据湖框架Apache Hudi**，使用HDFS存储数据，集成Spark、Flink、Hive等分析数据，逐步在大中型公司中使用，构建湖仓一体化架构。为了让大家更好学习使用Hudi，基于0.9.0版本，推出本套课程，从数据湖概念，到集成Spark和Flink，最后整合实际需求案例，由0到1深入浅出剖析Hudi使用，整个课程分为：基础入门篇、应用进阶篇和实战案例篇，涵盖最新特性和功能。

[**大数据数据湖架构Hudi视频教程，从Apache Hudi基础到项目实战（涵盖HDFS+Spark+Flink+Hive)**  
][Hudi_Apache Hudi_HDFS_Spark_Flink_Hive_]

**资料链接：https://pan.baidu.com/s/1zKXtY-dPzEGWWYsn5w88sQ?pwd=igvc  
提取码：igvc**

本次课程分为 三大部分：**Hudi 基础入门篇、Hudi 集成进阶篇和Hudi 实战案例篇**

**Hudi 基础入门篇**：主要讲解Hudi 框架概述、快速使用Hudi及基本概念。  
学习收获:了解什么是数据湖，为什么使用Hudi，及Hudi 如何使用管理数据和基本概念理解。

**Hudi 应用进阶篇**：主要讲解Hudi与Spark整合及与Flink整合，数据流式存储分析。  
学习收获：如何在企业中使用Hudi，尤其与Spark和Flink集成，无论是流式存储还是离线分析计算。

**Hudi 实战案例篇** ：主要讲解Hudi在传智教育博学谷和数据中心中实际案例。  
学习收获：如何在实际业务中使用Hudi，与Spark或Flink集成，掌握实战操作。\`

### 课程内容： ###

**1-Hudi 基础入门篇**  
1-1.什么是数据湖  
1-2.数据湖框架  
1-3.Apache Hudi 基本介绍  
1-4.Apache Hudi 快速发展  
1-5.编译 Hudi 源码  
1-6.大数据环境准备  
1-7.spark-shell 使用  
1-8.初识 Hudi 数据管理  
1-9.IDEA 编程开发  
1-10.基本概念  
1-11.表的存储类型  
1-12.数据写操作流程

**2-Hudi 应用进阶篇**  
2-1.Hudi集成Spark  
2-1-1.大数据环境准备  
2-1-2.滴滴运营分析  
2-1-3.结构化流写入Hudi  
2-1-4.集成 SparkSQL  
2-2.Hudi集成Flink  
2-2-1.安装部署 Flink 1.12  
2-2-2.快速入门使用  
2-2-3.Streaming Query  
2-2-4.Flink SQL Writer  
2-2-5.Hudi CDC

**3-Hudi 实战案例篇**  
3-1.传智教育博学谷Hudi案例实战  
3-1-1.案例技术架构  
3-1-2.业务数据调研  
3-1-3.七陌数据采集  
3-1-4.实时存储七陌数据  
3-1-5.集成Hive指标分析  
3-1-6.Spark 离线指标分析  
3-1-7.FineBI 报表可视化

3-2.传智教育数据中心Hudi案例实战  
3-2-1.案例实战技术架构  
3-2-2.业务数据调研  
3-2-3.Flink CDC 实时数据采集  
3-2-4.Presto 即席分析  
3-2-5.Flink SQL 流式分析  
3-2-6.FineBI 报表可视化

[Hudi_Apache Hudi_HDFS_Spark_Flink_Hive_]: https://www.bilibili.com/video/BV1sb4y1n7hK?spm_id_from=333.999.0.0