干货丨学习大数据，必须掌握哪些核心技术？

小鱼儿 2022-09-11 06:26 248阅读 0赞

![6179d78d297c64d4519acb10bf0add69.gif][]

大数据发展到今天，已经是越来越成熟，无论是大型互联网公司，还是小型的创业公司，都能看见大数据的身影。那么，**学习大数据必须掌握哪些核心技术？**下面和播妞一起来看吧！

![dcd988e47e00de32a3140fa9fa3f5c2f.png][]

**数据采集与预处理**

数据采集就是将这些包括移动互联网数据、社交网络的数据等各种来源的数据，写入数据仓库中，把零散的数据整合在一起，对这些数据进行综合分析。

Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。

NDC，Netease Data Canal，直译为网易数据运河系统，是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。

Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。

Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。

Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。

![b3fa65b250a83092bd57ea02c133fae1.png][]

![0c2ed3455a9d8713d168332b25bb5143.png][]

**数据存储**

Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。

HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。

Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。

Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。

Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。

Atlas是一个位于应用程序与MySQL之间的中间件。

Kudu是围绕Hadoop生态圈建立的存储引擎，Kudu拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。

![b0ee1d1ef6c922825ab765657ee94645.png][]

**数据清洗**

MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map(映射)”和”Reduce(归约)”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。

随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。

![0606ad0a49d15b50b0fb0d6b1c2e9d66.png][]

![6afbb10fb1a8cd81d87248f9e3e0ee63.png][]

**数据查询分析**

Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。

Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈。

Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。

Spark拥有Hadoop MapReduce所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。

Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。

Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。

![e0a5175b181bb9193793b9f2fd1657af.png][]

**数据可视化**

对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数等。

大数据技术的体系庞大且复杂，每年都会涌现出大量新的技术，目前大数据行业所涉及到的核心技术主要就是：数据采集、数据存储、数据清洗、数据查询分析和数据可视化。

![3515e7d760643fbc0e99a9f0765c18bf.png][]

** 黑马程序员 **

**致力于培养高级软件工程师**

**96** 位专职课研技术大牛

**879** 人严选教学团队

累计培养 **30余万名** 优质IT人才

以高品质教学质量赢得好口碑

![ef987a1e6388c08f096c492578696883.png][]

**部分学科最高优惠2000元**

立即扫码抢占优惠名额

课程老师1对1服务，全程免费

????????????

<table> 
 <tbody> 
 <tr> 
 <td colspan="1">JavaEE</td> 
 <td colspan="1">HTML&amp;JS+前端</td> 
 <td colspan="1">Python+大数据开发</td> 
 </tr> 
 <tr> 
 <td colspan="1">人工智能开发</td> 
 <td colspan="1">UI/UE设计</td> 
 <td colspan="1">软件测试</td> 
 </tr> 
 <tr> 
 <td colspan="1">新媒体+短视频直播运营</td> 
 <td colspan="1">产品经理</td> 
 <td colspan="1">Linux云计算+运维开发</td> 
 </tr> 
 <tr> 
 <td colspan="1">智能机器人软件开发</td> 
 <td colspan="1">电商视觉运营设计</td> 
 <td colspan="1">/</td> 
 </tr> 
 </tbody> 
</table>

**线上课程也可扫码咨询**

**更多疑问可添加播妞微信**

![ec5da8f951564548bcdd30f67583ce27.png][]** heiniu526 **

**- 推荐阅读 -**

[三大「非编程」高薪岗位出炉！这薪资，不输程序员！][Link 1]

[2021-08-30][Link 1]

[![3b207f607833deb1083b1487ccb0866d.png][] ][Link 1]

[一家全是女程序员的公司？网友：请务必告诉我，薪资无所谓！][Link 2]

[2021-08-27][Link 2]

[![d79af386714d1a98952e024a4e28aa0e.png][] ][Link 2]

[互联网人租房有多难？听完这6位的自白，瞬间破防了 ....][6_ ....]

[2021-08-23][6_ ....]

[![5b081eeef3daed244eabb3bb18165d46.png][] ][6_ ....]

![08f8496b4f9cacc9093e4361a1c95d7f.gif][]

[6179d78d297c64d4519acb10bf0add69.gif]: /images/20220828/f040ed650e1c402d8243a87e06f3fa49.png
[dcd988e47e00de32a3140fa9fa3f5c2f.png]: /images/20220828/3b23916f788441ecb37fe289d20d3967.png
[b3fa65b250a83092bd57ea02c133fae1.png]: /images/20220828/9b98ce3ecf0f490589b8741097a8b73e.png
[0c2ed3455a9d8713d168332b25bb5143.png]: /images/20220828/c9b5ce14c81c4da084dedf8af66c62af.png
[b0ee1d1ef6c922825ab765657ee94645.png]: /images/20220828/a3fc075da7754e63ba614146483367f4.png
[0606ad0a49d15b50b0fb0d6b1c2e9d66.png]: /images/20220828/87bd03a625dd435bafe3ce0f7e88c298.png
[6afbb10fb1a8cd81d87248f9e3e0ee63.png]: /images/20220828/0e92692e516c43a6a3837cc99fd61246.png
[e0a5175b181bb9193793b9f2fd1657af.png]: /images/20220828/5431a11afded4d4c908493f8194e9934.png
[3515e7d760643fbc0e99a9f0765c18bf.png]: /images/20220828/e5e33f978bcb4c9c98245e7ccd7f7af5.png
[ef987a1e6388c08f096c492578696883.png]: /images/20220828/cb0f16346d3041639fafe64fff6eb5ed.png
[ec5da8f951564548bcdd30f67583ce27.png]: /images/20220828/3706e46c1baf40b5b47f52151282ebb9.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU0ODExNTc5MQ%3D%3D&chksm=fb47a3f8cc302aee01ab66f8e1cc17bc71a9429e256399705035ca47862846a8811df35036c0&idx=1&mid=2247559128&scene=21&sn=b32019dbd119e4348bd34887e320424e#wechat_redirect
[3b207f607833deb1083b1487ccb0866d.png]: /images/20220828/f69aa75d38a043c5a94e1ac8fa8c2e22.png
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU0ODExNTc5MQ%3D%3D&chksm=fb47a20acc302b1c3d9a638a05b1a00079de302c20e20c4a1458b4cae57f31ac43a93ca45fbd&idx=1&mid=2247558698&scene=21&sn=d591c996a009c95ebe025cdfdad26454#wechat_redirect
[d79af386714d1a98952e024a4e28aa0e.png]: /images/20220828/ed52d8773cb24a67b6d1f7149622ea02.png
[6_ ....]: http://mp.weixin.qq.com/s?__biz=MzU0ODExNTc5MQ%3D%3D&chksm=fb47a6cbcc302fddd9d28463916bd496c07188394f3a263b93f9ba1d65b06286fdac366d93d6&idx=1&mid=2247557867&scene=21&sn=f8482b6579ebe49badfa751e4125ea9f#wechat_redirect
[5b081eeef3daed244eabb3bb18165d46.png]: /images/20220828/803e44f3675e422e9ae6341ef23cc08c.png
[08f8496b4f9cacc9093e4361a1c95d7f.gif]: /images/20220828/afeb8ff685ce4b72bfa51ed373faf584.png