大数据基础整理

Bertha 。 2023-10-29 07:00 127阅读 0赞

1.  什么是大数据，大数据有哪些特点？

大数据是指数据规模大，尤其是指由于数据形式多样性，非结构化特征明显，导致数据存储，处理和挖掘异常困难的那类数据集；特点：Volume(数据容量大，PB级以上的数据)Variety(数据类型繁多)Viscosity（价值密度低）Velocity（速度，大数据产生的速度快）Veracity（数据真实性差，大数据分析需要真实性数据）

2.大数据技术概述

大数据技术是指从数据采集，清洗，集成，分析与解释，进而从各种各样的巨量数据中快速获得有价值信息的全部技术。大数据研究的目的是发展大护具技术并应用到相关领域。

3.大数据处理过程

开始-数据采集与记录-数据抽取，清洗与标记-数据集成，转换与约简-数据分析与建模-数据解释-结束

4.大数据的关键技术

流处理，并行化，摘要索引，可视化

5.科学第一范式

科学实验主要描述自然现象，以观察和实验为依据的研究，可称之为经验范式。

6.科学第二范式

科学第二范式是以建模和归纳为基础的理论学科和分析范式，又称之为理论范式。

7.科学第三范式是以模拟复杂现象为基础的计算科学范式，又称之为模拟范式。

8.科学第四范式是以数据考察为基础，联合理论，实验和模拟一体的数据密集计算的范式。

9.格雷法则：科学计算数据爆炸试增长，解决方案为横向扩展的体系结构，将计算用于数据而不是数据用于计算，以20个询问规则开始设计，工作至工作；

10.横向拓展是在原有的分布式系统添加一个新机器，纵向拓展在原有的基础上添加CPU，内存等软硬件资源。

11.CAP理论

Consistency：一致性，所有节点在同一时间具有相同的数据

Availability：可用性，保证每个请求的成功或者失败都有响应

Partition Tolerance：分区容错性，系统中任意信息的丢失或失败不影响系统的继续运行。

CAP定理的主要内容是，一个分布式系统不可能同时满足一致性，可用性和分区容错性三个系统需求，最多只能同时满足两个系统需求。

12.BASE最终一致性，是ACID的反面。

基于BASE理论建立的分布式系统能够满足以下三个系统的核心要求：

高一致性：读取的数据都是基于快照的，而且错误的更新操作不会被执行；

高可用性：读取和更新都会返回数据；

高分区容错性：允许网络或节点出错。

13.函数式语言的概念：

函数型语言是一种典型的设计语言。函数型语言的特点是把问题求解的过程表示成块结构，对调用的调用者来说，每个块都有输入数据和经过加工处理后的输出数据。

14.函数式编程的优点：

逻辑可证，模块化，组件化，易于调试，易于测试，更高的生产率。

15.Map及Reduce的含义及功能

Map相对独立且并行运行，对存储系统中的文件按行处理，并产生键值对。Reduce以Map的输出作为输入，相同Key的记录汇聚到一个Reduce，Reduce对这组中间结果进行操作，将中间结果相同的键进行合并规约，并产生最终结果，即产生新的数据集。

16.计算流程

1.  作业开始-作业提交（一个作业提交前要完成所有的配置，一旦提交就进入完全自动化的流程）-Map任务的分配与执行（两个步骤：1.选择作业，然后是在此作业中选择任务。基本思路就是一切为优先级高的作业服务。2.确定了从哪个作业提取任务后，具体的分配算法很简单，就是尽全力为此服务器分配任务。）-Map任务的执行（与HDFS类似，任务服务器是通过心跳消息向作业服务器汇报此时各个任务的执行状况，并向作业任务器申请新的任务。）-Reduce任务的分配与执行（Reduce的任务比Map任务简单，基本上是所有Map任务完成了，如果有空闲的任务服务器，就分配给一个任务。）-作业的完成。

17.流式数据是指产生的护具不是批量的传输过来的，而是像水一样流过来的，流式数据的处理也是连续处理，而不是批量处理。

1.  流式数据的特征：实时性，易失性，突发性，无序性，无限性，准确性
2.  流式数据的查询方式有两种：一种是固定查询，一种是窗口查询；

18.大数据的流式计算与批量计算的比较

对于先存储后计算，实时性要求不高，但对数据的准确性和安全性更为重要的应用场景，批量计算模式更为合适。

对于无须存储，可以直接计算的数据，实时性要求很严格，但数据的精确度要求稍微宽松的场景，更适合流式计算。

发表评论取消回复

表情：

评论列表（有 0 条评论，127人围观）

还没有评论，来说两句吧...

相关阅读

相关【pandas基础】--数据整理

pandas进行数据整理的意义在于，它是数据分析、数据科学和机器学习的前置步骤。通过数据整理可以提前了解数据的概要，缺失值、重复值等情况，为后续的分析和建模提供更为可靠的...

落日映苍穹つ/ 2024年05月06日 09:35/ 0 赞/ 68 阅读

相关大数据基础整理

1. 什么是大数据，大数据有哪些特点？大数据是指数据规模大，尤其是指由于数据形式多样性，非结构化特征明显，导致数据存储，处理和挖掘异常困难的那类数据集；特点：Volume

Bertha 。/ 2023年10月29日 07:00/ 0 赞/ 128 阅读

相关【大数据处理技术】期末复习整理

所用教材：《大数据技术原理与应用——概念、存储、处理、分析与应用（第2版）》，由厦门大学计算机科学系林子雨编著。教材官网：[http://dblab.xmu.edu.cn

￡神魔★判官ぃ/ 2023年02月12日 06:29/ 0 赞/ 24 阅读

相关大数据技术栈整理

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

Myth丶恋晨/ 2022年11月28日 00:43/ 0 赞/ 192 阅读

相关大数据开源框架整理

引言主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，

逃离我推掉我的手/ 2022年09月10日 15:19/ 0 赞/ 206 阅读

相关大数据基础

文章目录一、大数据存储与管理 1. 分布式文件系统HDFS 1.1 HDFS核心概念 1.2 HDFS体系结

分手后的思念是犯贱/ 2022年09月02日 03:46/ 0 赞/ 159 阅读

相关数据挖掘十大经典算法整理

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29u

旧城等待，/ 2022年06月03日 10:19/ 0 赞/ 1054 阅读

相关大数据技术整理

目录一. Hadoop Hadoop Yarn MapReduce Hdfs CDH|Cloudera Manager 二. 数据分析 Hive

素颜马尾好姑娘i/ 2022年01月23日 14:17/ 0 赞/ 404 阅读

相关 [大数据]大数据体系整理

大数据体系整理开发语言分布式存储分布式计算数据仓库技术机器学习开发语言 Java 大数据

Love The Way You Lie/ 2021年12月11日 08:41/ 0 赞/ 390 阅读

相关数据整理——大数据治理的关键技术

摘要：数据是政府、企业和机构的重要资源。数据治理关注数据资源有效利用的众多方面，如数据资产确权、数据管理、数据开放共享、数据隐私保护等。从数据管理的角度，探讨了数据治理中...

你的名字/ 2021年03月26日 16:04/ 0 赞/ 621 阅读