Hadoop教程第一弹大数据概述

た入场券 2022-12-10 11:22 187阅读 0赞

# 1、大数据概述 #

## 1.1、大数据是什么？ ##

大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。  
按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。至少在TB级别以上才叫大数据。  
1Byte = 8bit    1K = 1024Byte    1MB = 1024K    1G = 1024M    1T = 1024G     1P = 1024T  
大数据主要解决，海量数据的采集、存储和分析计算问题。

## 1.2、大数据的4V特点 ##

volume  大量：从大量数据中提取有价值的数据才是有意义的。

velocity  高速：数据产生速度快。

variety  多样性：分为结构化数据和非结构化数据（网络日志、音频、视频、图片、地理位置信息等）。

value  低价值密度：价值密度的高低与数据总量的大小成反比。比如，在一天监控视频中，我们只关心某一分钟，因此如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。大数据采集后，需要对数据做一个清洗、去除脏数据，这就是ETL工程师要做的事。

## 1.3、大数据应用场景 ##

抖音短视频推荐：推荐的都是你喜欢的视频

电商站内广告推荐：给用户推荐可能喜欢的商品

## 1.4、大数据技术支撑体系 ##

一个完整的大数据系统总是由数据采集、数据存储、数据分析（或数据处理与服务）和数据应用四个部分组成

<table>  大数据支撑体系  
 <tbody> 
  <tr> 
   <td>大数据应用</td> 
   <td>监视、拦截、报告、推荐、可视化</td> 
  </tr> 
  <tr> 
   <td>大数据分析</td> 
   <td>识别、分析、模型</td> 
  </tr> 
  <tr> 
   <td>大数据存储</td> 
   <td>获取、变动与整理、分布式存储</td> 
  </tr> 
  <tr> 
   <td>大数据采集</td> 
   <td>数据源、数据位置、数据格式</td> 
  </tr> 
 </tbody> 
</table>

大数据系统的底层首先是大数据采集，其来源具有多余性；

接着通过数据接口（如数据导入器、数据过滤、数据清洗、数据转换等）将数据存储于大规模分布式存储系统中；

在数据存储的基础上，进一步实现数据分析（处理与服务）；

最终是大数据应用。

## 1.5、大数据人才 ##

首席数据官CDO

数据科学家(数据分析师)

大数据开发工程师

大数据运维工程师

# 2、大数据生态 #

## 2.1、主要组件及其关系 ##

*  HDFS
 *  MapReduce，分布式计算框架，用于海量数据的计算，它屏蔽了分布式计算框架细节，将计算抽象成Map和Reduce两部分，其中Map对数据集上的独立元素进行指定的操作，生成键值对形式中间结果，Reduce则对中间结果中相同的键的所有值进行规约，得到最终结果。
 *  HBase，分布式列式数据库，建立在HDFS之上，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美结合。HBase提供了对大规模数据的随机、实时读写访问。
 *  Zookeeper，分布式协调服务
 *  Pig：pig与hive均运行于HDFS之上。Pig是一种面向过程的数据流语言，与hive相比，Pig更轻量级，执行效率更快，适用于实时分析，不支持JDBC/ODBC，Pig适用于半结构化数据。
 *  Hive，数据仓库，Hive定义了一种类似于SQL的查询语言HQL，将HQL转化为MapReduce任务在Hadoop上执行，通常用于离线分析。
 *  Sqoop，数据ETL/同步工具，主要用于在Hadoop(HDFS、Hive、HBase)和关系型数据库中传递数据
 *  Flume，日志收集工具
 *  Mahout，数据挖掘算法库，Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，现在已经包含了聚类、分类、推荐引擎(协同过滤)等广泛使用的数据挖掘算法。
 *  yarn，分布式资源管理器，是下一代的MapReduce，即MRv2，主要是为了解决原始Hadoop扩展性较差，不支持多计算框架而提出的。yarn是下一代Hadoop计算平台，用户可以编写自己的计算框架。
 *  Spark，内存DAG计算模型
 *  Spark GraphX，分布式图计算框架，目前整合在Spark中运行
 *  Spark MLlib，机器学习库，提供各种各样的算法
 *  Kafka，数据分发工具，主要用于处理活跃的流式数据，Flume收集的数据和进行日志处理的系统之间可能存在多对多的关系，为了解耦合保证数据的传输延迟，可以选用Kafka作为消息中间层进行日志中转分发。Flume对于源数据流的发送速度不太稳定，有时快有时慢，当Flume的数据流发送速度过快时，会导致下游消费系统来不及处理，这样会使得有一部分数据可能会被丢弃掉。Kafka在这两者之间可以扮演一个缓存的角色，而且数据是写入到磁盘上的，保证消息数据在系统正常启动/关闭时不会丢失。
 *  Apache Phoenix，HBase的SQL驱动，Phoenix使得HBase支持通过JDBC的方式进行访问
 *  Apache Arnbari,安装部署配置管理工具，其作用就是创建、管理、监视Hadoop集群

数据采集  
    结构化数据采集工具  
        Sqoop  
    日志文件采集工具  
        Flume  
        Kafka  
大数据存储技术  
    分布式文件存储系统  
        HDFS  
        Tachyon，分布式内存文件存储  
    数据库与数据仓库  
        HBase  
        Hive  
分布式计算框架  
    离线计算框架  
        MapReduce  
        Yarn  
        Spark  
    实时流计算平台  
        Storm  
        Spark Streaming  
        Flink  
大数据分析  
    机器学习  
        Mahout算法库，机器学习算法库，Mahout 最大的优点就是基于Hadoop实现，它把很多以前运行于单机上的算法，转化为MapReduce模式，这样就大大提升了算法可处理的数据量和处理性能。  
        Spark Mllib库，基于Spark的一个机器学习库，Apache Mahout已经脱离MapReduce，转而加入Spark MLlib。MLlib基于RDD，可以与Spark SQL、GraphX、Spark Streaming无缝集成。  
    基于编程：R、Python  
    基于可视化工具：如新浪微博上亿用户发文的时间与地理分布(从省到街道的多级粒度探索)时，可以使用NanoCubes

复杂的大数据分析主要依靠机器学习。机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织己有的知识使之不断改善自身的结构和性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。

数据挖掘与机器学习的区别与联系[https://zhuanlan.zhihu.com/p/55652631][https_zhuanlan.zhihu.com_p_55652631]

Spark之所以在机器学习方面具有得天独厚的优势，原因如下：  
            机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止，迭代时如果使用  
            Hadoop的MapReduce计算框架，每次计算都要读/写磁盘，以及任务的启动等工作，这会导致非常大的I/0和CPU消耗。而Spark基于内存的计算  
            模型天生就擅长迭代计算，多个步骤计算直接在内存中完成，只有在必要时才会操作磁盘和网络，所以说Spark正是机器学习的理想的平台。

如下图，是一个推荐系统的架构图。访问日志被Flume采集，然后被传输到Kafka中，由于是实时场景，所以会通过Spark Streaming等实时框架计算，然后生成分析结果数据库，再被Tomcat推荐业务读取。

## ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hsXzE4MDM_size_16_color_FFFFFF_t_70][] ##

##    2.2、列存储和行存储的区别 ##

行存储数据的完整性和可靠性高，写入效率高；  
大数据应用往往需要批量访问列数据，列存储是最合适的；

## 2.3、SparkStreaming和Storm对比 ##

两者各有千秋，SparkStreaming由时间窗口内批量事件流触发，Storm由单个事件触发，单笔交易延迟方面SparkStreaming高于Storm，但在整体吞吐量方面SparkStreaming略有提升。  
Storm能处理高频数据和大规模数据的实时流计算，解决方案将被应用于实时搜索、高频交易和社交网络等。金融机构的交易系统是一个非常典型的流计算处理系统，它对系统的实时性和一致性有很高要求。  
Spark Streaming是大规模流式数据并行处理框架，它将流式计算分解成一系列短小的批处理作业。

Storm比较擅长实时性较高的数据处理，而Spark streaming则偏向于内存处理(注意严格来说内存处理跟流式处理并不是完全一样的)。  
在数据安全性方面，Storm 虽然没有Spark streaming 强大，但从目前来看已经够用了，要知道很多业务数据在这种场合下是允许丢失部分数据的。  
相对来说，在流式处理上，Storm 有着不可比拟的优势，而在大批量内存处理的方面，Spark Streaming则占着不小的优势。  
Storm的模型决定了它的应用范围相对要比Spark小很多(除了少数大公司，真正的实时流处理的需求并不多，而像BAT这样的公司又倾向于自己开发,不使 用原生的架构)，但Storm的好处在于Storm像Hadoop的MapReduce一样定义好了一套实时流处理的标准接口

## 2.4、MapReduce(MRv1)缺点 ##

其主要不足表现在大型集群上。当集群包含的节点超过4000个时(其中每个节点可能是多核的)，就会表现出一定的不可预测性，其中一个最大的问题是级联故障，由于要尝试复制数据和重载活动的节点，所以一个故障会通过网络泛拱形式导致整个集群崩溃。总的说来，MRv1存在扩展性受限、单点故障、难以支持MP之外的计算三方面的缺陷，多计算框架各自为战，数据共享困难。针对这些问题，YARN(MRv2)产生了。

[https_zhuanlan.zhihu.com_p_55652631]: https://zhuanlan.zhihu.com/p/55652631
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hsXzE4MDM_size_16_color_FFFFFF_t_70]: /images/20221123/70161cd5c8964c05ab8c5c73da8a0789.png