Hive学习（一）大数据基础知识介绍

ゝ一纸荒年。 2023-06-24 08:13 15阅读 0赞

**目录**

Hadoop

HDFS（Hadoop Distribute File System）

MapReduce

Yarn

Spark

--------------------

该系列文档是由学习 [尚硅谷大数据课程之Hive][Hive] 整理而来。若有不足之处，烦请批评指正！

# Hadoop #

Apache基金会所开发的分布式系统基础框架

用于解决 **海量数据的存储和分析** 问题

Hadoop生态圈：Hive、HBase、HDFS、Zookeeper...

优势：

*  高可靠性：底层维护多个数据副本
 *  高扩展性：可方便扩展和缩减节点
 *  高效性：MapReduce，并行计算，加快任务处理速度
 *  高容错性：自动将失败的任务重新分配

Hadoop 2.x组成：

*  Common（辅助工具）
 *  HDFS（数据存储）
 *  MapReduce（计算）
 *  Yarn（资源调度）

Hadoop 1.x，没有Yarn，MapReduce负责计算+资源调度

# HDFS（Hadoop Distribute File System） #

产生背景：随着数据量增大，一个操作系统存不下所有的数据，迫切需要一种系统来管理多个机器上的文件

分布式文件管理系统：

*  文件系统：用于存储文件，通过目录树来定位文件
 *  分布式：由很多服务器联合起来实现功能，集群中的服务器由各自的角色

使用场景：

*  适合一次写入，多次读出的场景，且不支持文件的修改
 *  适合用来做数据分析，并且不适合用来做网盘应用

优点：

*  高容错性：数据自带保存多个副本
 *  适合处理大数据，数据规模大，PB级别 ；文件规模大，百万以上的文件数量
 *  可构建在廉价机器上，通过多副本机子，提高可靠性

缺点：

*  不适合低延时数据访问
 *  无法高效的对大量小文件进行存储，寻址时间会超过读取时间
 *  不支持并发写入、文件随机修改，支持文件追加

# MapReduce #

分布式运算程序的编程框架，相当于运行在操作系统之上的应用程序

将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上

优点：

*  易于编程：简单的实现一些接口，就可以完成一个分布式程序
 *  良好的扩展性：扩展机器
 *  高容错性：将失败的任务转移到另外一个节点上运行，不至于这个任务失败
 *  适合PB级以上海量数据的离线处理

缺点：

*  不擅长实时计算
 *  不擅长流式计算：流式计算的输入数据是动态的，而MapReduce的输入集是静态的，不能动态变化
 *  不擅长有向图计算：即多个应用程序之间存在依赖关系，后一个程序的输入为前一个的输出。每个MapReduce的输出结果都会写入磁盘，会造成大量的磁盘IO，导致性能非常低下

核心思想：

*  Map阶段（分）：默认按块的大小进行拆分，将数据集拆分成几个文件
 *  Reduce阶段（合）：数据依赖MapTask并发实例的输出，数据结果输出到文件
 *  并发运行，互不相干

进程：一个完整的MapReduce程序在分布式运行时有三类实例进程

*  MrAppMaster：负责整个程序的过程调度及状态协调
 *  MapTask：负责Map阶段的整个数据处理流程
 *  ReduceTask：负责reduce阶段的整个数据处理流程

# Yarn #

资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台

# Spark #

基于内存的快速、通用、可扩展的大数据分析引擎

背景：

*  Hadoop 1.x MapReduce的缺点
    
     *  MR是基于数据集的计算，所以面向数据
     *  从存储介质中获取（采集）数据，然后进行计算，最后将结果存储到介质中，所以主要应用于一次性计算，不适合数据挖掘和机器学习这样的迭代计算和图像挖掘计算
     *  基于文件存储介质，所以性能非常慢
     *  MR和Haddop紧密耦合在一起，无法动态替换
 *  Spark（2016年6月）先Yarn出来，基于Hadoop 1.x架构思想，采用自己的方式改善Hadoop 1.x的问题

计算基于内存，并且基于Scala语法开发，天生适合迭代计算

资源和计算分开，Master、Executer

使用Hadoop的存储框架HDFS

特点：

*  快
 *  易用：可快速构建不同的应用
 *  通用：提供了统一的解决方案
 *  兼容性：可以方便地与其他开源产品进行融合

[Hive]: https://www.bilibili.com/video/av65556024?p=1

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive学习（一）大数据基础知识介绍

目录 Hadoop HDFS（Hadoop Distribute File System） MapReduce Yarn Spark ---------------

ゝ一纸荒年。/ 2023年06月24日 08:13/ 0 赞/ 16 阅读

相关 Hive学习总结（一）之Hive基础知识

Hive基础知识 1.Hive是什么 2.Hive架构原理 3.Hive的运行机制 4

港控/mmm°/ 2023年02月18日 08:06/ 0 赞/ 187 阅读

相关大数据开发之Hive篇1-Hive介绍

文章目录一.Hive简介二.Hive的特点三.Hive使用场景四.Hive命令五.Hive参数 5.1 Hivevar

谁践踏了优雅/ 2022年12月28日 12:54/ 0 赞/ 304 阅读

相关 Hive基础知识简介

Hive基础知识简介文章目录 Hive基础知识简介一、什么是Hive 1.1 hive简介 1.2

分手后的思念是犯贱/ 2022年12月23日 11:10/ 0 赞/ 172 阅读

相关大数据基础面试题三：Hive

大数据基础面试题三：Hive 目录大数据基础面试题三：Hive 六、Hive 6.1 Hive的架构

约定不等于承诺〃/ 2022年11月05日 08:51/ 0 赞/ 295 阅读

相关大数据时代的技术hive：hive介绍

我最近研究了hive的相关技术，有点心得，这里和大家分享下。　　首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性：　　1.hive是基于H

不念不忘少年蓝@/ 2022年09月30日 13:49/ 0 赞/ 20 阅读

相关大数据学习之Hive 知识点总结

文章目录 Hive 数据类型原生数据类型复合数据类型 Hive SerDe S

偏执的太偏执、/ 2022年09月06日 15:22/ 0 赞/ 261 阅读

相关大数据学习之Hive数据仓库

文章目录前言数据仓库数据库与数据仓库的区别数据仓库的分层架构数据模型

矫情吗；*/ 2022年09月05日 00:14/ 0 赞/ 286 阅读

相关 Hive的基础知识

[Hive中的数据库和表详细讲解文章][Hive_] [Hive操作数据库语句总结][Hive] 一、Hive中的数据库（Database）和表（Table） 1

比眉伴天荒/ 2022年06月18日 00:29/ 0 赞/ 230 阅读

相关 hive基础知识

接触hive也有一段时间了，一直把它当做传统的数据库使用的，没有出现问题。昨天的时候遇到一个问题，就是hive表中的数据有重复了，领导让尽快出方案解决，我想都没想，直接

迷南。/ 2022年05月24日 04:29/ 0 赞/ 210 阅读