Hadoop高频面试题

太过爱你忘了你带给我的痛 2023-03-01 10:55 5阅读 0赞

### Hadoop 相关总结 ###

*   *  Hadoop 常用端口号
     *  Hadoop 配置文件以及简单的 Hadoop 集群搭建
     *  HDFS 读流程和写流程
     *  MapReduce 的 Shuffle 过程及 Hadoop 优化（包括：压缩、小文件、集群优化）
     *   *   *  Shuffle 机制
             *  Hadoop 优化
             *  压缩
             *  切片机制
     *  Yarn 的 Job 提交流程
     *  Yarn 的默认调度器、调度器分类、以及他们之间的区别
     *  项目经验之 LZO 压缩
     *  Hadoop 参数调优
     *  项目经验之基准测试
     *  Hadoop 宕机
     *  Hadoop 解决数据倾斜方法

## Hadoop 常用端口号 ##

➢ dfs.namenode.http-address:50070  
➢ dfs.datanode.http-address:50075  
➢ SecondaryNameNode 辅助名称节点端口号：50090  
➢ dfs.datanode.address:50010  
➢ fs.defaultFS:8020 或者 9000  
➢ yarn.resourcemanager.webapp.address:8088  
➢ 历史服务器 web 访问端口：19888

## Hadoop 配置文件以及简单的 Hadoop 集群搭建 ##

（1）配置文件：  
core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml  
hadoop-env.sh、yarn-env.sh、mapred-env.sh、slaves  
（2）简单的集群搭建过程：  
JDK 安装  
配置 SSH 免密登录  
配置 hadoop 核心文件:  
格式化 namenode

## HDFS 读流程和写流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]

## MapReduce 的 Shuffle 过程及 Hadoop 优化（包括：压缩、小文件、集群优化） ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]

#### Shuffle 机制 ####

1）Map 方法之后 Reduce 方法之前这段处理过程叫 Shuffle  
2）Map 方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小 100m，环形缓冲区达到 80%时，进行溢写；溢写前对数据进行排序，排序按照对 key 的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行 Combiner 操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待 Reduce 端拉取。  
3）每个 Reduce 拉取 Map 端对应分区的数据。拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有数据后，采用归并排序将内存和磁盘中的数据都进行排序。在进入 Reduce 方法前，可以对数据进行分组操作。

#### Hadoop 优化 ####

1.HDFS 小文件影响  
（1）影响 NameNode 的寿命，因为文件元数据存储在 NameNode 的内存中  
（2）影响计算引擎的任务数量，比如每个小的文件都会生成一个 Map 任务  
2.数据输入小文件处理  
（1）合并小文件：对小文件进行归档（Har）、自定义 Inputformat 将小文件存储成  
SequenceFile 文件。  
（2）采用 ConbinFileInputFormat 来作为输入，解决输入端大量小文件场景。  
（3）对于大量小文件 Job，可以开启 JVM 重用。  
**`JVM解释：速度快`**

开始
           运行  1kb
         开始
           运行  1kb
         开始
           运行  1kb
         结束

3.Map 阶段  
（1）增大环形缓冲区大小。由 100m 扩大到 200m  
（2）增大环形缓冲区溢写的比例。由 80%扩大到 90%  
（3）减少对溢写文件的 merge 次数。（10 个文件，一次 20 个 merge）  
（4）不影响实际业务的前提下，采用 Combiner 提前合并，减少 I/O。  
4.Reduce 阶段  
（1）合理设置 Map 和 Reduce 数：两个都不能设置太少，也不能设置太多。太少，会  
导致 Task 等待，延长处理时间；太多，会导致 Map、Reduce 任务间竞争资源，造成处理超  
时等错误。  
（2）设置 Map、Reduce 共存：调整 slowstart.completedmaps 参数，使 Map 运行到一定  
程度后，Reduce 也开始运行，减少 Reduce 的等待时间。  
（3）规避使用 Reduce，因为 Reduce 在用于连接数据集的时候将会产生大量的网络消  
耗。  
（4）增加每个 Reduce 去 Map 中拿数据的并行数  
（5）集群性能可以的前提下，增大 Reduce 端存储数据内存的大小。  
5.IO 传输  
（1）采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码器。  
（2）使用 SequenceFile 二进制文件  
6.整体  
（1）MapTask 默认内存大小为 1G，可以增加 MapTask 内存大小为 4-5g  
（2）ReduceTask 默认内存大小为 1G，可以增加 ReduceTask 内存大小为 4-5g  
（3）可以增加 MapTask 的 cpu 核数，增加 ReduceTask 的 CPU 核数  
（4）增加每个 Container 的 CPU 核数和内存大小  
（5）调整每个 Map Task 和 Reduce Task 最大重试次数

#### 压缩 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]  
提示：如果面试过程问起，我们一般回答压缩方式为 Snappy，特点速度快，缺点无法切分（可以回答在链式 MR 中，Reduce 端输出使用 bzip2 压缩，以便后续的 map 任务对数据进行 split）

#### 切片机制 ####

1）简单地按照文件的内容长度进行切片  
2）切片大小，默认等于 Block 大小  
3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片  
提示：切片大小公式：max(0,min(Long\_max,blockSize))

## Yarn 的 Job 提交流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]

## Yarn 的默认调度器、调度器分类、以及他们之间的区别 ##

1）Hadoop 调度器重要分为三类：  
FIFO 、Capacity Scheduler（容量调度器）和 Fair Sceduler（公平调度器）。  
Hadoop2.7.x 默认的资源调度器是 容量调度器  
2）区别：  
FIFO 调度器：先进先出，同一时间队列中只有一个任务在执行。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]  
容量调度器：多队列；每个队列内部先进先出，同一时间队列中只有一个任务在执行。队列的并行度为队列的个数。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]  
公平调度器：多队列；每个队列内部按照缺额大小分配资源启动任务，同一时间队列中有多个任务执行。队列的并行度大于等于队列的个数。  
**`一定要强调生产环境中不是使用的 FifoScheduler，面试的时侯会发现候选人大概了解这几种调度器的区别，但是问在生产环境用哪种，却说使用的 FifoScheduler（企业生产环境一定不会用这个调度的）`**  
公平调度器  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]  
总结  
对并发度要求高，且有钱的公司:公平调度器（中、大公司)  
对并发度要求不是太高，且不是特别有钱:容量（中小公司）  
容量调度器:默认只有一个default队列，在开发时会用多个队列。  
按技术框架:hive、 spark、flink  
按业务创建队列:登录注册、低 购物车高、用户行为、业务数据放一个队列  
实习1（递归死循环） 实习2  
**`按业务创建的好处`**：解耦、降低风险

## 项目经验之 LZO 压缩 ##

Hadoop 默认不支持 LZO 压缩，如果需要支持 LZO 压缩，需要添加 jar 包，并在 hadoop的 cores-site.xml 文件中添加相关压缩配置

## Hadoop 参数调优 ##

1）在 hdfs-site.xml 文件中配置多目录，最好提前配置好，否则更改目录需要重新启动集群  
2）NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。  
dfs.namenode.handler.count=20 \* log2(Cluster Size)，比如集群规模为 10 台时，此参数设  
置为 60  
3 ）编辑日志存储路径 dfs.namenode.edits.dir 设置与镜 像 文 件 存 储 路dfs.namenode.name.dir 尽量分开，达到最低写入延迟  
4）服务器节点上 YARN 可使用的物理内存总量，默认是 8192（MB），注意，如果你的节点内存资源不够 8GB，则需要调减小这个值，而 YARN 不会智能的探测节点的物理内存总量。yarn.nodemanager.resource.memory-mb  
5）单个任务可申请的最多物理内存量，默认是 8192（MB）。yarn.scheduler.maximumallocation-mb

## 项目经验之基准测试 ##

搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的 share 文件夹下。

## Hadoop 宕机 ##

1）如果 MR 造成系统宕机。此时要控制 Yarn 同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是 8192MB）  
2）如果写入文件过量造成 NameNode 宕机。那么调高 Kafka 的存储大小，控制从 Kafka到 HDFS 的写入速度。高峰期的时候用 Kafka 进行缓存，高峰期过去数据同步会自动跟上。

## Hadoop 解决数据倾斜方法 ##

1.提前在 map 进行 combine，减少传输的数据量 在 Mapper 加上 combiner 相当于提前进reduce，即把一个 Mapper 中的相同 key 进行了聚合，减少 shuffle 过程中传输的数据量，以及 Reducer 端的计算量。  
如果导致数据倾斜的key 大量分布在不同的mapper的时候，这种方法就不是很有效了。  
2.导致数据倾斜的 key 大量分布在不同的 mapper  
（1）局部聚合加全局聚合。  
第一次在 map 阶段对那些导致了数据倾斜的 key 加上 1 到 n 的随机前缀，这样本来相同的 key 也会被分到多个 Reducer 中进行局部聚合，数量就会大大降低。  
第二次 mapreduce，去掉 key 的随机前缀，进行全局聚合。  
思想：二次 mr，第一次将 key 随机散列到不同 reducer 进行处理达到负载均衡目的。第二次再根据去掉 key 的随机前缀，按原 key 进行 reduce 处理。  
这个方法进行两次 mapreduce，性能稍差。  
（2）增加 Reducer，提升并行度  
JobConf.setNumReduceTasks(int)  
（3）实现自定义分区  
根据数据分布情况，自定义散列函数，将 key 均匀分配到不同 Reducer

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20230208/56f9581839bc4a0bbdef0bba457b8c99.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200724152849609.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200724153052185.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200724153206465.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2020072415383486.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200724154052432.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200724154207292.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200724154237437.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/2020072415443863.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70