初始大数据（Big Data）开发

我不是女神ヾ 2023-10-04 17:08 23阅读 0赞

#### 一、对大数据的认识 ####

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAeGlhb1pfaW5zaXN0_size_14_color_FFFFFF_t_70_g_se_x_16_pic_center]

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

> 主要解决的是对海量数据的存储以及海量数据的计算分析问题

*  数据单位描述：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大数据主要的特点：

*  **Volume（大量）**：历史上全人类说过的话的数量大约是5EB，个人计算机目前容量单位为TB。
 *  **Velocity（高速）**：由于传输数据的量是非常庞大的，所以大数据在传输速率方面是高速的。
 *  **Variety（多样）**：以往的结构化数据相较于非结构化数据，非结构化数据越来越多，例如：音频，视频，地理信息等。对非结构化数据的处理能力要求较高。
 *  **Value（低价值密度）**：对复杂的，高效价值的数据进行提纯处理。

主要应用场景：

> 物流仓储、零售（纸尿布+啤酒）、旅游、商品广告推荐（推荐算法）、保险、金融、人工智能…

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAeGlhb1pfaW5zaXN0_size_13_color_FFFFFF_t_70_g_se_x_16_pic_center]

#### 二、大数据开发岗位主要做什么？ ####

> 数据采集【原始数据】  
> 数据汇聚【经过清洗合并的可用数据】  
> 数据转换和映射【经过分类，提取的专项主题数据】  
> 数据应用 【提供api 智能系统 应用系统等】

*  大数据开发岗所处的位置以及相关其他岗位职责。

> ![在这里插入图片描述][3dd9b933f79643f29cf82e554736f7f5.jpg_pic_center]  
> （图片来源于网络）

*  组织结构  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAeGlhb1pfaW5zaXN0_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

#### 三、大数据学习最全路线（推荐） ####

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAeGlhb1pfaW5zaXN0_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAeGlhb1pfaW5zaXN0_size_14_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/d19d7996fd7a4f749b97a840ec0da2a4.webp?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAeGlhb1pfaW5zaXN0,size_14,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAeGlhb1pfaW5zaXN0_size_13_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/38146a6621fa40b1b2667b713ce56acc.webp?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAeGlhb1pfaW5zaXN0,size_13,color_FFFFFF,t_70,g_se,x_16#pic_center
[3dd9b933f79643f29cf82e554736f7f5.jpg_pic_center]: https://img-blog.csdnimg.cn/3dd9b933f79643f29cf82e554736f7f5.jpg#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAeGlhb1pfaW5zaXN0_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/dea251c29471496296a5d85e0c285255.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAeGlhb1pfaW5zaXN0,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAeGlhb1pfaW5zaXN0_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: https://img-blog.csdnimg.cn/c29b32da6ed0419e968f0471dd74a58e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAeGlhb1pfaW5zaXN0,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center