大数据与Hadoop简介

比眉伴天荒 2022-04-12 09:52 275阅读 0赞

### 大数据与Hadoop ###

*  1.大数据的特点
 *  2.有哪些应用的场景
 *  3.Hadoop的三大发行版本
 *  4.Hadoop的优势
 *  5.Hadoop的组成

# 1.大数据的特点 #

*  Volume（大量）：个人计算机硬盘的容量为TB级，而一些大企业的数据量已经接近EB量级了。
 *  Velocity（高速）：这是大数据区分于传统数据挖掘的最显著特征。
 *  Variety(多样)：这种类型的多样性也让数据被分为结构化数据（数据库/文本为主的结构化数据）和非结构化数据（日志 、图片、视屏等）
 *  Value(低密度)：价值密度的高低与数据总量的大小成反比！！！

# 2.有哪些应用的场景 #

*  物流仓储：大数据分析系统助力商家精细化运营、提升销量、节约成本
 *  零售：分析用户消费习惯，为用户购买商品提供方便，从而提升商品销量
 *  旅游：深度结合大数据能力与旅游产业智慧管理、智慧服务和智慧营销的未来
 *  商品广告推荐：给用户推荐可能喜欢的商品。等等等等。。。。。

# 3.Hadoop的三大发行版本 #

*  Apache版本最原始（最基础）的版本，对于入门学习最好。  
    官网地址：[http://hadoop.apache.org/releases.html][http_hadoop.apache.org_releases.html]  
    下载地址：[https://archive.apache.org/dist/hadoop/common/][https_archive.apache.org_dist_hadoop_common]
 *  Cloudera在大型互联网企业中用的较多。  
    官网地址：[https://www.cloudera.com/downloads/cdh/5-10-0.html][https_www.cloudera.com_downloads_cdh_5-10-0.html]  
    下载地址：[http://archive-primary.cloudera.com/cdh5/cdh/5/][http_archive-primary.cloudera.com_cdh5_cdh_5]
 *  Hortonworks文档较好。  
    官网地址：[https://hortonworks.com/products/data-center/hdp/][https_hortonworks.com_products_data-center_hdp]  
    下载地址：[https://hortonworks.com/downloads/\#data-platform][https_hortonworks.com_downloads_data-platform]

# 4.Hadoop的优势 #

1.  高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2.  高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
3.  高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4.  高容错性：能够自动将失败的任务重新分配。

# 5.Hadoop的组成 #

![在Hadoop1.x与Hadoop2.x][Hadoop1.x_Hadoop2.x]

.在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算

版权声明：本博客为记录本人自学感悟，转载需注明出处！  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[http_hadoop.apache.org_releases.html]: http://hadoop.apache.org/releases.html
[https_archive.apache.org_dist_hadoop_common]: https://archive.apache.org/dist/hadoop/common/
[https_www.cloudera.com_downloads_cdh_5-10-0.html]: https://www.cloudera.com/downloads/cdh/5-10-0.html
[http_archive-primary.cloudera.com_cdh5_cdh_5]: http://archive-primary.cloudera.com/cdh5/cdh/5/
[https_hortonworks.com_products_data-center_hdp]: https://hortonworks.com/products/data-center/hdp/
[https_hortonworks.com_downloads_data-platform]: https://hortonworks.com/downloads/#data-platform
[Hadoop1.x_Hadoop2.x]: /images/20220412/54582de482d94715b893dc962b6e21eb.png
[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909