大数据工程师技能图谱

悠悠 2022-06-13 11:07 321阅读 0赞

作者：华华儿  
链接：https://www.zhihu.com/question/27232470/answer/117355287  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

# **一、大数据通用处理平台** #

## 1. **Spark** ##

## 2. **Flink** ##

## 3. **Hadoop** ##

# **二、分布式存储** #

## HDFS ##

# **三、资源调度** #

## 1、Yarn ##

## 2、Mesos ##

# **四、机器学习工具** #

## Mahout ##

1. **Spark Mlib**

2. **TensorFlow (Google 系)**

3. **Amazon Machine Learning**

4. **DMTK (微软分布式机器学习工具)**

# **五、数据分析/数据仓库(SQL类)** #

1. **Pig**

2. **Hive**

3. **kylin**

4. **Spark SQL,**

5. **Spark DataFrame**

6. **Impala**

7. **Phoenix**

8. **ELK**

8.1 ElasticSearch

8.2Logstash

8.3Kibana

# **六、消息队列** #

1. **Kafka(纯日志类，大吞吐量)**

2. **RocketMQ**

3. **ZeroMQ**

4. **ActiveMQ**

5. **RabbitMQ**

# **七、流式计算** #

1. Storm/JStorm

2. Spark Streaming

3. Flink

# **八、日志收集** #

Scribe

Flume

# **久、编程语言** #

1. Java

2. Python

3. R

4. Ruby

5. Scala

# **十、数据分析挖掘** #

MATLAB

SPSS

SAS

# **十一、数据可视化** #

1. R

2. D3.js

3. ECharts

4. Excle

5. Python

# **十二、机器学习** #

## **机器学习基础** ##

1. 聚类

2. 时间序列

3. 推荐系统

4. 回归分析

5. 文本挖掘

6. 决策树

7. 支持向量机

8. 贝叶斯分类

9. 神经网络

## **机器学习工具** ##

1. Mahout

2. Spark Mlib

3. TensorFlow (Google 系)

4. Amazon Machine Learning

5. DMTK (微软分布式机器学习工具)

# **十三、算法** #

## **一致性** ##

1. paxos

2. raft

3. gossip

## **数据结构** ##

1. 栈，队列，链表

2. 散列表

3. 二叉树，红黑树，B树

4. 图

## **常用算法** ##

1.排序

插入排序

桶排序

堆排序

2.快速排序

3,最大子数组

4.最长公共子序列

5.最小生成树

最短路径

6.矩阵的存储和运算

# **十四、云计算** #

## **云服务** ##

1. SaaS

2. PaaS

3. IaaS

4. Openstack

5. Docker

如下图所示：

![Image 1][]

[Image 1]:

大数据工程师技能图谱

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关打造一流软件测试工程师的技能图谱

相关大数据分析师技能图谱详解

相关 JAVA工程师必备技能知识图谱

相关【大数据】大数据工程师必备技能

相关大数据工程师技能图谱

相关【技能图谱】运维工程师篇

相关【技能图谱】架构师技能图谱

相关【技能图谱】H5技能图谱

相关【技能图谱】前端工程师篇

相关【技能图谱】大数据工程师篇