数据仓库实战教程

本是古典何须时尚 2022-12-31 03:23 111阅读 0赞

## 数据仓库实战教程 ##

数据仓库已经是企业的数据竞争的核心了，学好数据仓库对提高自己和找到一份好的工作都至关重要，但是很多人对数仓的印象还是停留在写SQL的层面,其实今天的数仓更像是一个数据平台应用,我们学习的大数据技术其实最终的价值都体现在数据服务上，数仓是数据服务的基石，如果说业界以前还有离线和实时之分的话，那么现在实时数仓的提出与落地，未来数仓将是数据战争的最激烈的战场，一切大数据技术都将为数仓提供服务，也都将在数仓这一环节进行收口。

本专栏主要专注于数仓工具学习、数仓建模以及业务建模、SQL 实战和平台建设，最后以3家公司的数仓建建设和实时数仓作为结尾项目，里面包含了很多的东西，这份教程有以下特点

1.  知识体系完善，从数仓的概念、建模、数仓工具的使用、数仓的落地实践都有，还会有很多小案例
2.  使用的技术都是当前企业最常用的技术，版本也是比较新的，不会导致大家看到一个代码，然后一执行发现语法不支持或者废弃掉了
3.  后续的更新也会很及时，不会说更新了一段时间断更了，在更新完大纲之后，我也会不断完善该系列，不断添加新的知识点
4.  创作团队都是在企业一线员工，实战多于理论，还有很多经典的面试题，例如拉链表的优化、计算连续登陆、连续增长、最大在线用户数

**适合人群**

1.  小白对数仓感兴趣同学
2.  有数仓经验但是缺乏全面认识的同学

### 1. 数仓建模 ###

什么是数仓

[数仓架构发展史][Link 1]

[数仓建模方法论][Link 2]

[分层建设理论][Link 3]

数据治理

[数据湖初识][Link 4]

[指标体系建设][Link 5]

[数据模型][Link 6]

[宽表的设计][Link 7]

[埋点设计与管理][Link 8]

[ID Mapping(上)][ID Mapping]

[ID Mapping(下)][ID Mapping 1]

[OneID落地实践][OneID]

[数据集成][Link 9]

[元数据管理][Link 10]

[自助分析][Link 11]

[建模工具PDMan(CHINER) 入门介绍][PDMan_CHINER_]

### 2. 数仓工具 ###

#### 1. Hive ####

##### 1.Hive 基础篇 #####

[1. 什么是Hive][1. _Hive]

[2. Hive的编译安装][2. Hive]

[3. Hive表的基础操作][3. Hive]

[4. Hive数据的组织管理方式][4. Hive]

[5. Hive内部表和外部表][5. Hive]

[6. Hive动态分区][6. Hive]

[7. Hive命令行][7. Hive]

[8. Hive基本数据类型][8. Hive]

[9. Hive复合数据类型][9. Hive]

[10. Hive Streaming][]

[11. Hive关键字][11. Hive]

[12. Hive函数大全][12. Hive]

[13. Hive的架构设计][13. Hive]

[14. Hive架构之HiveServer2][14. Hive_HiveServer2]

[15. Hive的其他语言调用][15. Hive]

[16. Hive架构服务][16. Hive]

[17. Hive的严格模式和本地模式][17. Hive]

[18. Hive的执行引擎][18. Hive]

[19. Hive视图和物化视图][19. Hive]

[20. Hive UDF][]

[21. Metastore][]

[22.MetaStore的standalone模式和高可用][22.MetaStore_standalone]

##### 2.Hive 语法篇 #####

[1. Json 解析][1. Json]

[2. like rlike regexp][]

[3. explode 和 lateral view][3. explode _ lateral view]

[4. with as和from][4. with as_from]

[5. Order by, Sort by ,Dristribute by,Cluster By][5. Order by_ Sort by _Dristribute by_Cluster By]

[6. grouping sets][]

[7. cube和rollup][7. cube_rollup]

[8. map join、reduce join、smb join][8. map join_reduce join_smb join]

[9. 窗口函数初识 max count sum][9. _ max count sum]

[10. 窗口函数row\_number、rank、dense\_rank][10. _row_number_rank_dense_rank]

[11. 窗口函数ntile][11. _ntile]

[12. 窗口函数first\_value和last\_value][12. _first_value_last_value]

[13. 窗口函数lead和lag][13. _lead_lag]

[14. 窗口函数cume\_dist和 percent\_rank][14. _cume_dist_ percent_rank]

[15. 窗口函数练习和总结][15.]

[16. Hive语法之抽样][16. Hive 1]

[17. collect\_set 和 collect\_list][17. collect_set _ collect_list]

[18. 行列转换][18.]

##### 3.Hive 进阶篇 #####

[1. Hive进阶之索引][1. Hive]

[2. Hive进阶之事务初识][2. Hive 1]

[3. Hive进阶之事务深度剖析][3. Hive 1]

[4. Hive进阶之执行计划][4. Hive 1]

[5. Hive进阶之数据存储格式][5. Hive 1]

[6. Hive进阶之数据压缩配置与格式][5. Hive 1]

[7. Hive进阶之SerDe][7. Hive_SerDe]

[8 Hive进阶之权限管理][8 Hive]

[10. Hive优化指南][10. Hive]

##### 4.Hive 源码篇 #####

[1. 源码环境搭建][1.]

[2. cli 模块][2. cli]

[3. CliDriver][]

[4. Beeline/HiveCli][4. Beeline_HiveCli]

[5. 扩展篇Thrift][5. _Thrift]

##### 5. Hive 实战篇 #####

[1. UDF分词][1. UDF]

[2. UDF IP 解析][2. UDF IP]

[3. UDF SQL 解析][2. UDF IP]

[4. 拉链表][4.]

[5. 用户行为记录session分割][5. _session]

[6. 最大连续登陆][6.]

[7. 留存分析][7.]

[8. 各种join的经典应用][8. _join]

[9. 漏斗分析][9.]

[10. 累计计算][10.]

[11. 占比同比环比][11.]

[12. 自关联经典案例][12.]

[13. 日活跃周活跃月活][13.]

[14. full join 经典案例][14. full join]

[15. UDF外部依赖文件找不到][15. UDF]

[16. 对比分析][16.]

[17. 事件序列匹配/复杂事件处理][17.]

[ 18. UDF GIS][18. UDF GIS]

[19. 描述性计算][19.]

[20. 滑动/滚动时间窗口计算][20.]

#### 2. 高性能查询引擎 ####

##### 1.Spark-SQL #####

##### 2.Impala #####

##### 3.Presto #####

##### 4.Druid #####

#### 3.数据同步工具 ####

#### 4. 调度工具 ####

##### 1. 调度工具的使用 #####

##### 2. 调度工具整合 #####

首先我们会创建常用的脚本然后配合配合数仓的SQL 进行数仓的整体的调度，脚本的话我们主要有抽数的脚本、执行SQL的脚本、监控的脚本、发布脚本

当然我们还会引入版本管理工具，管理我们的SQL和脚本，然后进行发布

#### 5. 元数据管理工具 ####

#### 6. 监控工具 ####

#### 7. 报表工具 ####

#### 8. 实时数仓 ####

#### 9. 数据资产 ####

### 3. 数仓实战 ###

#### 1. K12赛道Top公司的数仓建设 ####

#### 2. 知名游戏公司的数仓建设 ####

#### 3. 如何设计企业级数据平台 ####

#### 4. 企业级实时数仓建设案例 ####

## 总结 ##

以hadoop 作为基础生态，从0到进行数仓建设，主要分为基础篇和实战篇两部分，基础篇主要是各种组件的学习和案例，实战篇主要是三家企业的数仓设计案例，最后是扩展篇主要是实时数仓。

[Link 1]: https://blog.csdn.net/king14bhhb/article/details/110715863
[Link 2]: https://blog.csdn.net/king14bhhb/article/details/110894422
[Link 3]: https://blog.csdn.net/king14bhhb/article/details/110714959
[Link 4]: https://blog.csdn.net/king14bhhb/article/details/111392617
[Link 5]: https://blog.csdn.net/king14bhhb/article/details/110941854
[Link 6]: https://blog.csdn.net/king14bhhb/article/details/110941801
[Link 7]: https://blog.csdn.net/king14bhhb/article/details/118189602
[Link 8]: https://blog.csdn.net/king14bhhb/article/details/118726923
[ID Mapping]: https://blog.csdn.net/king14bhhb/article/details/118960115
[ID Mapping 1]: https://blog.csdn.net/king14bhhb/article/details/120067297
[OneID]: https://blog.csdn.net/king14bhhb/article/details/120087584
[Link 9]: https://blog.csdn.net/king14bhhb/article/details/120095934
[Link 10]: https://blog.csdn.net/king14bhhb/article/details/120111791
[Link 11]: https://blog.csdn.net/king14bhhb/article/details/120200246
[PDMan_CHINER_]: https://blog.csdn.net/king14bhhb/article/details/120224231
[1. _Hive]: https://blog.csdn.net/king14bhhb/article/details/111462896
[2. Hive]: https://blog.csdn.net/king14bhhb/article/details/111568313
[3. Hive]: https://blog.csdn.net/king14bhhb/article/details/111584254
[4. Hive]: https://blog.csdn.net/king14bhhb/article/details/111592592
[5. Hive]: https://blog.csdn.net/king14bhhb/article/details/111595879
[6. Hive]: https://blog.csdn.net/king14bhhb/article/details/111598399
[7. Hive]: https://blog.csdn.net/king14bhhb/article/details/111600665
[8. Hive]: https://blog.csdn.net/king14bhhb/article/details/111657942
[9. Hive]: https://blog.csdn.net/king14bhhb/article/details/111712993
[10. Hive Streaming]: https://blog.csdn.net/king14bhhb/article/details/111729038
[11. Hive]: https://blog.csdn.net/king14bhhb/article/details/111735030
[12. Hive]: https://blog.csdn.net/king14bhhb/article/details/111765573
[13. Hive]: https://blog.csdn.net/king14bhhb/article/details/111769279
[14. Hive_HiveServer2]: https://blog.csdn.net/king14bhhb/article/details/111770337
[15. Hive]: https://blog.csdn.net/king14bhhb/article/details/111770561
[16. Hive]: https://blog.csdn.net/king14bhhb/article/details/111777544
[17. Hive]: https://blog.csdn.net/king14bhhb/article/details/111795036
[18. Hive]: https://blog.csdn.net/king14bhhb/article/details/111823588
[19. Hive]: https://blog.csdn.net/king14bhhb/article/details/111827225
[20. Hive UDF]: https://blog.csdn.net/king14bhhb/article/details/111827549
[21. Metastore]: https://blog.csdn.net/king14bhhb/article/details/118635916
[22.MetaStore_standalone]: https://blog.csdn.net/king14bhhb/article/details/118694718
[1. Json]: https://blog.csdn.net/king14bhhb/article/details/111999201
[2. like rlike regexp]: https://blog.csdn.net/king14bhhb/article/details/112058139
[3. explode _ lateral view]: https://blog.csdn.net/king14bhhb/article/details/112058141
[4. with as_from]: https://blog.csdn.net/king14bhhb/article/details/112058174
[5. Order by_ Sort by _Dristribute by_Cluster By]: https://blog.csdn.net/king14bhhb/article/details/112093373
[6. grouping sets]: https://blog.csdn.net/king14bhhb/article/details/112063657
[7. cube_rollup]: https://blog.csdn.net/king14bhhb/article/details/112069418
[8. map join_reduce join_smb join]: https://blog.csdn.net/king14bhhb/article/details/112132243
[9. _ max count sum]: https://blog.csdn.net/king14bhhb/article/details/112172378
[10. _row_number_rank_dense_rank]: https://blog.csdn.net/king14bhhb/article/details/112253118
[11. _ntile]: https://blog.csdn.net/king14bhhb/article/details/112258298
[12. _first_value_last_value]: https://blog.csdn.net/king14bhhb/article/details/112260539
[13. _lead_lag]: https://blog.csdn.net/king14bhhb/article/details/112267910
[14. _cume_dist_ percent_rank]: https://blog.csdn.net/king14bhhb/article/details/112283469
[15.]: https://blog.csdn.net/king14bhhb/article/details/112390073
[16. Hive 1]: https://blog.csdn.net/king14bhhb/article/details/112528852
[17. collect_set _ collect_list]: https://blog.csdn.net/king14bhhb/article/details/118370275
[18.]: https://blog.csdn.net/king14bhhb/article/details/118680290
[1. Hive]: https://blog.csdn.net/king14bhhb/article/details/111830230
[2. Hive 1]: https://blog.csdn.net/king14bhhb/article/details/111841190
[3. Hive 1]: https://blog.csdn.net/king14bhhb/article/details/111866920
[4. Hive 1]: https://blog.csdn.net/king14bhhb/article/details/112391654
[5. Hive 1]: https://blog.csdn.net/king14bhhb/article/details/112520702
[7. Hive_SerDe]: https://blog.csdn.net/king14bhhb/article/details/112541876
[8 Hive]: https://blog.csdn.net/king14bhhb/article/details/112576550
[10. Hive]: https://blog.csdn.net/king14bhhb/article/details/111244999
[1.]: https://blog.csdn.net/king14bhhb/article/details/118425389
[2. cli]: https://blog.csdn.net/king14bhhb/article/details/118424755
[3. CliDriver]: https://blog.csdn.net/king14bhhb/article/details/118417214
[4. Beeline_HiveCli]: https://blog.csdn.net/king14bhhb/article/details/118616483
[5. _Thrift]: https://blog.csdn.net/king14bhhb/article/details/118731966
[1. UDF]: https://blog.csdn.net/king14bhhb/article/details/111875289
[2. UDF IP]: https://blog.csdn.net/king14bhhb/article/details/111939061
[4.]: https://blog.csdn.net/king14bhhb/article/details/118072304
[5. _session]: https://blog.csdn.net/king14bhhb/article/details/118076250
[6.]: https://blog.csdn.net/king14bhhb/article/details/118108670
[7.]: https://blog.csdn.net/king14bhhb/article/details/118144568
[8. _join]: https://blog.csdn.net/king14bhhb/article/details/118157805
[9.]: https://blog.csdn.net/king14bhhb/article/details/118108820
[10.]: https://blog.csdn.net/king14bhhb/article/details/118144432
[11.]: https://blog.csdn.net/king14bhhb/article/details/112638874
[12.]: https://blog.csdn.net/king14bhhb/article/details/118193569
[13.]: https://blog.csdn.net/king14bhhb/article/details/118223437
[14. full join]: https://blog.csdn.net/king14bhhb/article/details/118267279
[15. UDF]: https://blog.csdn.net/king14bhhb/article/details/118298448
[16.]: https://blog.csdn.net/king14bhhb/article/details/118391301
[17.]: https://blog.csdn.net/king14bhhb/article/details/118916590
[18. UDF GIS]: https://blog.csdn.net/king14bhhb/article/details/118875408
[19.]: https://blog.csdn.net/king14bhhb/article/details/118977467
[20.]: https://blog.csdn.net/king14bhhb/article/details/119006330