大数据与传统数据对比

绝地灬酷狼 2023-05-29 05:26 23阅读 0赞

### 文章目录 ###

*   *  1. 传统服务器与大数据服务器的系统安装
     *   *  传统服务器
         *  大数据服务器系统安装
     *  2. 大数据技术为什么快

## 1. 传统服务器与大数据服务器的系统安装 ##

### 传统服务器 ###

**系统硬盘**（100%完全独立，不要存储业务数据）  
物理磁盘做raid1（两个硬盘物理备份）  
/boot 200M  
/SWAP 内存的1-2被（大数据集群中要关闭）  
/ 所有的空间

**数据硬盘**  
多块小的硬盘 做一个大的硬盘（逻辑卷）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70]

### 大数据服务器系统安装 ###

**数据硬盘**  
优先不做raid 必须做raid时 物理磁盘做raid0  
多块小的硬盘独立挂载（一个硬盘一个目录）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 1]

## 2. 大数据技术为什么快 ##

1.  **传统**的数据纵向扩展  
    服务器数量不发生变化，配置越来越高（发生变化）  
    **大数据**横向扩展  
    配置不发生变化，服务器数量越来越多（发生变化）
2.  **传统**的方式资源（cpu/内存/硬盘）集中  
    **大数据**方式资源（cpu/内存/硬盘）分布(前提：同等配置的前提下)
3.  **传统**数据备份方式单份备份  
    **大数据**数据备份方式多分备份（数据复制，默认三个副本）
4.  **传统**的计算模型是移动数据到程序端  
    **大数据**计算模型是移动程序到数据端  
    io 和网络的使用率都非常低，且多节点存储，多节点计算（众人拾柴火焰高）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191104200758486.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191104200909945.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ==,size_16,color_FFFFFF,t_70