大数据技术栈概述

蔚落 2023-10-07 23:27 85阅读 0赞

### 一、Hadoop ###

![635363c3f0ad47d7ac93b3bf272b5680.jpeg][]

### 1.1 Hadoop是什么？ ###

1.  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2.  主要解决，海量数据的存储和海量数据的分析计算问题。
3.  广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

### 1.2 Hadoop组成 ###

![2d00f1be77f547309ea0a8267a0d5c8f.png][]

--------------------

#### **1.2.1 HDFS** ####

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。

#### **1.2.2 HDFS概述** ####

**![295235cfacb34cfba59a22d0d4983d38.png][]**

#### 1.2.3 HDFS优缺点 ####

![43996dffc8a442d4b6e5a15739f72daa.png][]

![d54073992d49473a96fbb9d0e1fd8916.png][]

#### 1.2.4 HDFS组成框架 ####

![4a37c35dfc1c4733a53a993bde44c9bc.png][]

![9f4a37ef83b44eee9371bb956e48cc20.png][]

#### 1.2.5 HDFS文件块 ####

![904dca8d45ef4c95baab6e7c57887d79.png][]

![50fa97aa9ec946abb01ede7375cec089.png][]

--------------------

#### 1.3.1 Yarn ####

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。

![094ae41fc734469cb6dfb8fcc9c82cc4.png][]

####  ####

#### 1.3.2 YARN架构概述 ####

![0631aa174f0644b49377d5cbcdd4d93c.png][]

![694be80f381540e295f5977c22c4d941.png][]

--------------------

#### 1.4.1 MapReduce ####

MapReduce 将计算过程分为两个阶段：Map 和 Reduce

1）Map 阶段并行处理输入数据

2）Reduce 阶段对 Map 结果进行汇总

#### 1.4.2 MapReduce 概述 ####

![456404f5731242f3a918e3af98348c2f.png][]

#### 1.4.3 MapReduce 优缺点 ####

![b74fed8fc26048628fc4d50a3b64bf15.png][]

![81bdf8047dab4bf981e32151865b5bf1.png][]

![a6186256efa84a879098f957e81656fc.png][]

#### 1.4.4 MapReduce 架构概述 ####

![429bb52267db442c8e152249b9c25f79.png][]

--------------------

### 1.3 HDFS、YARN、MapReduce 三者关系 ###

![b9cc8cece7364a48b4fcd31bc9431513.png][]

--------------------

## 二、Zookeeper(动物管理员) ##

![71dad116c3f04df2b02a8d80728e1d34.jpeg][]

### 2.1 概述 ###

Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。

### 2.2 工作机制 ###

![227e5821a5784c0bb93e8aa5905ccd3c.png][]

### 2.3 特点 ###

![1d1f02d3a8fd44b6a180f7c8be87420b.png][]

### 2.4 应用场景 ###

### ![111e8f4f47d14424a0e189493758e8df.png][] ###

![071240a5b8574a7589e168ffed9f3984.png][]

![c6df7589ff2e4b1ab39297585b97eaec.png][]

### 2.5 zookeeper部分问题 ###

![abd3af3709944501ae6fe619263e6a39.png][]

--------------------

## 三、Hive ##

![a17e46dd5b17439ca76f32bef4418337.jpeg][]

### 3.1 概述(Hive 是为数据仓库而设计的) ###

![394c4858c09d4f9ca45b45e281294372.png][]![564a0e734f404ec68a96a947df083234.png][]

####  ####

### 3.2 优缺点 ###

![2080fb35b71446dda0a4b542e27d48b8.png][]

![1b29b1b1b1ea42b1940b58e72b2ab8a3.png][]

--------------------

## 四、Sqoop ##

![fa56da7fea2c43eab354fea2f7bbc434.png][]

### 4.1 概述 ###

![5e36f6beabf349edb64e43b08d0e798a.png][]

####  ####

### 4.2 原理 ###

![7fec7d3060264004ad45e42141c08afd.png][]

--------------------

## 五、Scala(编程语言) ##

![f4ce67b451b74eeabee8608af0e90373.png][]

### 5.1 为何学Scala？ ###

![833de5706f0c46e78df2e08cf2fef124.png][]

####  ####

### 5.2 Scala特点 ###

![a238f14cb77d4e709b28f4fee957df96.png][]

--------------------

## 六、Spark(批处理数据) ##

![b3fe5045d5f04456a652556881aad1aa.jpeg][]

### 6.1 什么是Spark ###

![1b52fb1c975e49e190367faa83ce140b.png][]

### 6.2 Spark和Hadoop关系 ###

![b3efb755abde4abd8a707d5709c9b076.png][]

![992ada231f624071a3bef32e634fc6d7.png][]

![65705e53625149b2b460b71987d6464e.png][]

### 6.3 Spark和Hadoop如何选择 ###

![f1c2a386dc224d499ce51cc6142b9c8d.png][]

![38e1bea90f1545d8a9f96bfcfea8bfe3.png][]

### 6.4 Spark核心模块 ###

![7b9d0aabaab54e34960d09acf55ac618.png][]

![0b2ef20f7f8541f88cabf510750e2218.png][]

--------------------

## 七、Flume ##

![aec3b78321ce417b9266bf2c76269e4d.png][]

### 7.1 概述 ###

![481302ba0b1c44eaacde0a238bee98d4.png][]

####  ####

### 7.2 flume架构 ###

![3d2d520d8bfd4a13b454445b3aac301f.png][]

![518f4a643ba44adf9056b5484fef4a27.png][]

--------------------

## 八、Kafka ##

![3bc38a28a20e4e57b26b881c238ef487.jpeg][]

### 8.1 定义 ###

![f56169d2ff20488c84d8ed27cf9a7585.png][]

####  ####

#### 8.1.1 消息队列 ####

![8d1c71d93965426188fe5ac936f6c989.png][]

####  ####

#### 8.1.2 消息队列应用场景 ####

![8ca899beb91744ba808ca9fb6c44670e.png][]

![cc88e937eb074a59a804661d9e58c9a6.png][]

![81adaa3a99764162bdbc710e6380b6ec.png][]

#### 8.1.3 消息队列模式 ####

![4c8f638c10f341498214f519b5681cd5.png][]

####  ####

### 8.2 kafka架构 ###

![3a7a98ca348141898eb041331423a86e.png][]

--------------------

## 九、Flink(流式处理数据) ##

![03c5d56f26e644ae82cb696258a38a3d.png][]

Flink 是 Apache 基金会旗下的一个开源大数据处理框架。

Flink 是一个大数据流处理引擎，它可以为不同的行业提供大数据实时处理的解决方案。

####  ####

### 9.1 Flink核心特性 ###

![993b80ef917d40429d01501e16fc16d9.png][]

![7e4cb6db4bf54854a62d6f860a8fbbcd.png][]

### 9.2 Flink分层Api ###

![fd0ba1cf5cd440d18646d5c9009fcf28.png][]

### 9.3 相较于Spark，更推荐Flink处理实时流处理 ###

![3b5c590e62fa45ab8bdc80a02014edf5.png][]

[635363c3f0ad47d7ac93b3bf272b5680.jpeg]: https://img-blog.csdnimg.cn/635363c3f0ad47d7ac93b3bf272b5680.jpeg
[2d00f1be77f547309ea0a8267a0d5c8f.png]: https://img-blog.csdnimg.cn/2d00f1be77f547309ea0a8267a0d5c8f.png
[295235cfacb34cfba59a22d0d4983d38.png]: https://img-blog.csdnimg.cn/295235cfacb34cfba59a22d0d4983d38.png
[43996dffc8a442d4b6e5a15739f72daa.png]: https://img-blog.csdnimg.cn/43996dffc8a442d4b6e5a15739f72daa.png
[d54073992d49473a96fbb9d0e1fd8916.png]: https://img-blog.csdnimg.cn/d54073992d49473a96fbb9d0e1fd8916.png
[4a37c35dfc1c4733a53a993bde44c9bc.png]: https://img-blog.csdnimg.cn/4a37c35dfc1c4733a53a993bde44c9bc.png
[9f4a37ef83b44eee9371bb956e48cc20.png]: https://img-blog.csdnimg.cn/9f4a37ef83b44eee9371bb956e48cc20.png
[904dca8d45ef4c95baab6e7c57887d79.png]: https://img-blog.csdnimg.cn/904dca8d45ef4c95baab6e7c57887d79.png
[50fa97aa9ec946abb01ede7375cec089.png]: https://img-blog.csdnimg.cn/50fa97aa9ec946abb01ede7375cec089.png
[094ae41fc734469cb6dfb8fcc9c82cc4.png]: https://img-blog.csdnimg.cn/094ae41fc734469cb6dfb8fcc9c82cc4.png
[0631aa174f0644b49377d5cbcdd4d93c.png]: https://img-blog.csdnimg.cn/0631aa174f0644b49377d5cbcdd4d93c.png
[694be80f381540e295f5977c22c4d941.png]: https://img-blog.csdnimg.cn/694be80f381540e295f5977c22c4d941.png
[456404f5731242f3a918e3af98348c2f.png]: https://img-blog.csdnimg.cn/456404f5731242f3a918e3af98348c2f.png
[b74fed8fc26048628fc4d50a3b64bf15.png]: https://img-blog.csdnimg.cn/b74fed8fc26048628fc4d50a3b64bf15.png
[81bdf8047dab4bf981e32151865b5bf1.png]: https://img-blog.csdnimg.cn/81bdf8047dab4bf981e32151865b5bf1.png
[a6186256efa84a879098f957e81656fc.png]: https://img-blog.csdnimg.cn/a6186256efa84a879098f957e81656fc.png
[429bb52267db442c8e152249b9c25f79.png]: https://img-blog.csdnimg.cn/429bb52267db442c8e152249b9c25f79.png
[b9cc8cece7364a48b4fcd31bc9431513.png]: https://img-blog.csdnimg.cn/b9cc8cece7364a48b4fcd31bc9431513.png
[71dad116c3f04df2b02a8d80728e1d34.jpeg]: https://img-blog.csdnimg.cn/71dad116c3f04df2b02a8d80728e1d34.jpeg
[227e5821a5784c0bb93e8aa5905ccd3c.png]: https://img-blog.csdnimg.cn/227e5821a5784c0bb93e8aa5905ccd3c.png
[1d1f02d3a8fd44b6a180f7c8be87420b.png]: https://img-blog.csdnimg.cn/1d1f02d3a8fd44b6a180f7c8be87420b.png
[111e8f4f47d14424a0e189493758e8df.png]: https://img-blog.csdnimg.cn/111e8f4f47d14424a0e189493758e8df.png
[071240a5b8574a7589e168ffed9f3984.png]: https://img-blog.csdnimg.cn/071240a5b8574a7589e168ffed9f3984.png
[c6df7589ff2e4b1ab39297585b97eaec.png]: https://img-blog.csdnimg.cn/c6df7589ff2e4b1ab39297585b97eaec.png
[abd3af3709944501ae6fe619263e6a39.png]: https://img-blog.csdnimg.cn/abd3af3709944501ae6fe619263e6a39.png
[a17e46dd5b17439ca76f32bef4418337.jpeg]: https://img-blog.csdnimg.cn/a17e46dd5b17439ca76f32bef4418337.jpeg
[394c4858c09d4f9ca45b45e281294372.png]: https://img-blog.csdnimg.cn/394c4858c09d4f9ca45b45e281294372.png
[564a0e734f404ec68a96a947df083234.png]: https://img-blog.csdnimg.cn/564a0e734f404ec68a96a947df083234.png
[2080fb35b71446dda0a4b542e27d48b8.png]: https://img-blog.csdnimg.cn/2080fb35b71446dda0a4b542e27d48b8.png
[1b29b1b1b1ea42b1940b58e72b2ab8a3.png]: https://img-blog.csdnimg.cn/1b29b1b1b1ea42b1940b58e72b2ab8a3.png
[fa56da7fea2c43eab354fea2f7bbc434.png]: https://img-blog.csdnimg.cn/fa56da7fea2c43eab354fea2f7bbc434.png
[5e36f6beabf349edb64e43b08d0e798a.png]: https://img-blog.csdnimg.cn/5e36f6beabf349edb64e43b08d0e798a.png
[7fec7d3060264004ad45e42141c08afd.png]: https://img-blog.csdnimg.cn/7fec7d3060264004ad45e42141c08afd.png
[f4ce67b451b74eeabee8608af0e90373.png]: https://img-blog.csdnimg.cn/f4ce67b451b74eeabee8608af0e90373.png
[833de5706f0c46e78df2e08cf2fef124.png]: https://img-blog.csdnimg.cn/833de5706f0c46e78df2e08cf2fef124.png
[a238f14cb77d4e709b28f4fee957df96.png]: https://img-blog.csdnimg.cn/a238f14cb77d4e709b28f4fee957df96.png
[b3fe5045d5f04456a652556881aad1aa.jpeg]: https://img-blog.csdnimg.cn/b3fe5045d5f04456a652556881aad1aa.jpeg
[1b52fb1c975e49e190367faa83ce140b.png]: https://img-blog.csdnimg.cn/1b52fb1c975e49e190367faa83ce140b.png
[b3efb755abde4abd8a707d5709c9b076.png]: https://img-blog.csdnimg.cn/b3efb755abde4abd8a707d5709c9b076.png
[992ada231f624071a3bef32e634fc6d7.png]: https://img-blog.csdnimg.cn/992ada231f624071a3bef32e634fc6d7.png
[65705e53625149b2b460b71987d6464e.png]: https://img-blog.csdnimg.cn/65705e53625149b2b460b71987d6464e.png
[f1c2a386dc224d499ce51cc6142b9c8d.png]: https://img-blog.csdnimg.cn/f1c2a386dc224d499ce51cc6142b9c8d.png
[38e1bea90f1545d8a9f96bfcfea8bfe3.png]: https://img-blog.csdnimg.cn/38e1bea90f1545d8a9f96bfcfea8bfe3.png
[7b9d0aabaab54e34960d09acf55ac618.png]: https://img-blog.csdnimg.cn/7b9d0aabaab54e34960d09acf55ac618.png
[0b2ef20f7f8541f88cabf510750e2218.png]: https://img-blog.csdnimg.cn/0b2ef20f7f8541f88cabf510750e2218.png
[aec3b78321ce417b9266bf2c76269e4d.png]: https://img-blog.csdnimg.cn/aec3b78321ce417b9266bf2c76269e4d.png
[481302ba0b1c44eaacde0a238bee98d4.png]: https://img-blog.csdnimg.cn/481302ba0b1c44eaacde0a238bee98d4.png
[3d2d520d8bfd4a13b454445b3aac301f.png]: https://img-blog.csdnimg.cn/3d2d520d8bfd4a13b454445b3aac301f.png
[518f4a643ba44adf9056b5484fef4a27.png]: https://img-blog.csdnimg.cn/518f4a643ba44adf9056b5484fef4a27.png
[3bc38a28a20e4e57b26b881c238ef487.jpeg]: https://img-blog.csdnimg.cn/3bc38a28a20e4e57b26b881c238ef487.jpeg
[f56169d2ff20488c84d8ed27cf9a7585.png]: https://img-blog.csdnimg.cn/f56169d2ff20488c84d8ed27cf9a7585.png
[8d1c71d93965426188fe5ac936f6c989.png]: https://img-blog.csdnimg.cn/8d1c71d93965426188fe5ac936f6c989.png
[8ca899beb91744ba808ca9fb6c44670e.png]: https://img-blog.csdnimg.cn/8ca899beb91744ba808ca9fb6c44670e.png
[cc88e937eb074a59a804661d9e58c9a6.png]: https://img-blog.csdnimg.cn/cc88e937eb074a59a804661d9e58c9a6.png
[81adaa3a99764162bdbc710e6380b6ec.png]: https://img-blog.csdnimg.cn/81adaa3a99764162bdbc710e6380b6ec.png
[4c8f638c10f341498214f519b5681cd5.png]: https://img-blog.csdnimg.cn/4c8f638c10f341498214f519b5681cd5.png
[3a7a98ca348141898eb041331423a86e.png]: https://img-blog.csdnimg.cn/3a7a98ca348141898eb041331423a86e.png
[03c5d56f26e644ae82cb696258a38a3d.png]: https://img-blog.csdnimg.cn/03c5d56f26e644ae82cb696258a38a3d.png
[993b80ef917d40429d01501e16fc16d9.png]: https://img-blog.csdnimg.cn/993b80ef917d40429d01501e16fc16d9.png
[7e4cb6db4bf54854a62d6f860a8fbbcd.png]: https://img-blog.csdnimg.cn/7e4cb6db4bf54854a62d6f860a8fbbcd.png
[fd0ba1cf5cd440d18646d5c9009fcf28.png]: https://img-blog.csdnimg.cn/fd0ba1cf5cd440d18646d5c9009fcf28.png
[3b5c590e62fa45ab8bdc80a02014edf5.png]: https://img-blog.csdnimg.cn/3b5c590e62fa45ab8bdc80a02014edf5.png