大数据学习笔记1——大数据相关的基本概念、学习路线

悠悠 2022-05-11 12:14 165阅读 0赞

# 一、基本概念 #

## 1，大数据解决了什么问题？ ##

（1）如何存储大量数据？（HDFS）

（2）如何处理大量数据？（Map-Reduce、storm、spark等）

## 2，传统数据仓库和OLAP？ ##

（1）hadoop其实就是数据仓库的一种实现方式。

（2）数据仓库其实就是数据库，比如oracle通过dbca工具可以创建一个数据仓库，如果使用oracle的warehouse，就可以建立一个数据仓库。

![70][]

## 3，为什么会出现hadoop系列的 ##

其实学过大数据课程都知道，就是互联网公司省钱的本性，造就大家都不想用oracle之类的数据库，还有去IOE之说。用一些列的微机取代成本高昂的服务器。

因此就出现了传统数据分析的替代解决方案（标红部分）：

![70 1][]

其中sqoop、flume是用来做采集的，即ETL，HDFS、HBase和Hive做数据存储（数据仓库），MapReduce、Spark用来做数据处理（分析），Spark是实时计算的框架，处理完的结果可以放回到HDFS、Hbase或者内存数据库Redis，之后就能给业务部门使用。

## 3，Google的思想 ##

大数据的基本思想，使用很多的屌丝代替高富帅，总结起来大数据基于三篇论文。

（1）GFS（google file system）            ——>    HDFS（hadoop distributed file system）

这两个都是分布式文件系统，解决大数据的存储问题。

大数据存储有两个问题需要解决：一是硬盘不够大，二是硬盘的安全问题，如果一个硬盘挂掉了，怎么办？

分布式存储系统给出了答案：对硬盘容量问题，多加几个硬盘，节点不够加节点就是了；对硬盘安全问题，采用冗余策略，即数据多存几份。hdfs的默认冗余值为3，一份数据存三份。分布式结构如图所示：

![70 2][]

所以部署一个hadoop，至少要有三个节点，1个namenode，2个datanode。学习大数据一定要学习思想和原理，不然一有问题、一有新的技术出现，完全搞不定。

（2）MapReduce                                    ——>    MapReduce计算模型

mapreduce的思想是先拆分，再合并。

![70 3][]

以这个例子来看mapreduce，1加到10，我可以分成3个任务，分别计算1加到4、5加到7、8加到10。计算的结果然后再合并到一起。

讲一个任务分成多个任务的过程叫map，将多个任务合并的过程叫reduce。这样有什么好处？能够将原来不能执行的任务，分解成能执行的任务。

完成的mapreduce ： job = map  + reduce。当然执行mapreduce任务的时候，一定要习惯看日志！不然执行的过程都不知道它怎么干的、哪里出的问题。

（3）BigTable                                         ——>     HBase

# 二、大数据的学习路线 #

先来说一下趋势：2018年是大数据落地的一年，之前很多都是靠炒概念而来的；未来是在云端用人工智能处理大数据。

然后，学习大数据是不需要数据库的知识！

学习路线如下：

![70 4][]

![70 5][]

![70 6][]

[70]: /images/20220505/be793eec904141088be393f1de084ac9.png
[70 1]: /images/20220505/c7e293820e1f4b4a8075978de460134a.png
[70 2]: /images/20220505/6be501210fa549c195052c99bba77b9d.png
[70 3]: /images/20220505/2cb831bb2070494593cf0d9a9b24cb69.png
[70 4]: /images/20220505/54b8025af515454d979400a187017024.png
[70 5]: /images/20220505/2bab882b42254673a630352e01ee55f3.png
[70 6]: /images/20220505/d84f77fd986b46d1b718c225a185a053.png

发表评论取消回复

表情：

评论列表（有 0 条评论，165人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据学习路线

一、为什么要学习大数据？我们对数据的**存储**以及**处理**大致可以划分为以下几个阶段： 1. **单纯靠人脑记忆**：远古时期的智人，买东西的时候不会记录...

r囧r小猫/ 2024年04月20日 09:15/ 0 赞/ 102 阅读

相关大数据学习笔记——Hadoop1.x基本概念和安装

Hadoop生态圈十分庞大，最近Spark又很火热并且速度也是Hadoop的百倍级别的，曾想就只看Spark吧，后来发现还是需要从基础打起，Spark是基于内存的，其没有存储系

左手的ㄟ右手/ 2022年08月20日 05:09/ 0 赞/ 184 阅读

相关大数据学习路线大纲

下面的路线大纲截图自《尚学堂》 ![Center][]![Center 1][]![Center 2][]![Center 3][]![Center 4][]![C

àì夳堔傛蜴生んèń/ 2022年06月16日 01:44/ 0 赞/ 256 阅读

相关大数据学习规划路线

JavaWeb ![67354560.jpg][] -------------------- 大数据平台扩展 ![59769327.jp

以你之姓@/ 2022年06月10日 03:24/ 0 赞/ 281 阅读

相关大数据学习路线

大数据学习路线 java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS

阳光穿透心脏的1/2处/ 2022年05月21日 05:42/ 0 赞/ 332 阅读

相关大数据学习路线推荐

转自：[https://www.cnblogs.com/zlslch/p/5448857.html][https_www.cnblogs.com_zlslch_p_54488

蔚落/ 2022年05月18日 08:27/ 0 赞/ 321 阅读

相关大数据学习笔记1——大数据相关的基本概念、学习路线

一、基本概念 1，大数据解决了什么问题？（1）如何存储大量数据？（HDFS）（2）如何处理大量数据？（Map-Reduce、storm、spark等） 2

悠悠/ 2022年05月11日 12:14/ 0 赞/ 166 阅读

相关大数据经典学习路线

PS：秋招结束，以前做后台的我有幸进入了咱们公司的大数据中心，负责公司基础数据相关的业务，初入大数据之大门，不知从何学起，百度之~~ 整理——记之。

傷城~/ 2022年04月13日 11:46/ 0 赞/ 323 阅读

相关大数据学习路线

原文：[https://blog.csdn.net/zys\_1997/article/details/78358992][https_blog.csdn.net_zys_19

落日映苍穹つ/ 2022年04月05日 11:52/ 0 赞/ 1044 阅读

相关大数据学习路线

> 云计算大数据物联网人工智能的时代已经到来。或许我们昨天还在畅想着未来，可是不知不觉，那个被我们畅想的未来已经悄然降临。不断的改变我们身边的方方面面。我们必须跟

桃扇骨/ 2021年12月21日 04:05/ 0 赞/ 439 阅读