大规模分布式存储系统笔记二

超、凢脫俗 2023-07-18 03:24 34阅读 0赞

### 单机存储篇 ###

*  概述
 *   *  CPU架构
     *  IO总线
     *  网络拓扑
     *  性能参数
     *  存储层次架构
     *  单机存储引擎

# 概述 #

本篇我们先谈谈单机存储。单机存储系统是单机存储引擎的一种封装，对外提供文件、键值、表格或者关系模型。学计算机专业的同学应该都学过关系数据库吧，单机存储的理论其实基本来源于关系数据库。本篇会从**CPU、IO、网络**等硬件基础知识及性能参数、接着介绍主流单机存储引擎。其中，**哈希存储引擎**是哈希表的持久化实现，**B树存储引擎**是B树的持久化实现，而LSM树(Log Structure Merge Tree)存储引擎采用批量转储技术避免磁盘随机写入，这些都是从物理结构研究存储。本篇大家将再度学习关系型数据库理论基础，包括事务、并发控制、故障恢复、数据压缩等。

## CPU架构 ##

早期的CPU为单核芯片，提高单核会产生过多的热量且无法带来相应的性能改善。因此，现代服务器基本多核或多个CPU。经典的多CPU架构为对称多处理结构[SMP][]。

## IO总线 ##

典型的**南、北架构**，北桥芯片通过前端总线与CPU相连，内存模块以及PCI-E设备（如高端的SSD设备）挂接在被桥上。北桥与南桥之间通过DMI连接，DMI的带宽为1GB/s，网卡，硬盘以及中低端固态盘挂接在南桥上。

## 网络拓扑 ##

传统数据中心网络拓扑：接入层（Edge），中间是汇聚层（Aggregation），上面是核心层（Core）。典型的接入层交换机包含48个1Gb端口以及4个10Gb上行端口，汇聚层以及核心层的交换机包含128个10Gb的端口。传统三层结构的问题在于可能有很多接入层的交换机接到汇聚层，很多的汇聚层交换机接到核心层。同一个接入层下的服务器之间带宽为1Gb，不同接入层交换机下的服务器之间的带宽小于1Gb。  
Google在2008年的时候将网络改造为扁平化拓扑结构，即三级CLOS网络，同一个集群内最多支持20480台服务器，且任何两台都有1Gb带宽。

## 性能参数 ##

SSD单位成本提供的IOPS比传统的SAS或者SATA磁盘都要大得多，而且SSD功耗低，更加环保，适合小数据量并且对性能要求更高的场景。当然内存IOPS是千万级的。

## 存储层次架构 ##

从 分布式系统的角度看，整个集群中所有服务器 上的存储介质（ 内存、机械 硬盘，SSD）构成一个整体，其他服务器上的存储介质与本机存储介质一样都是可访问的，区别仅仅在于需要额外的网络传输 及网络协议栈等访问开销。  
存储系统的性能主要包括两个维度：吞吐量以及访问延时，设计系统时要求能够在保证访问延时的基础上，通过最低的成本实现尽可能高的吞吐量。磁盘和SSD的访问延时差别很大，但带宽差别不大，因此， 磁盘 适合 大块 顺序 访问 的 存储 系统，SSD适合随机访问较多或者对延时比较敏感的关键系统。二者也常常组合在一起进行混合存储，热数据（访问 频繁）存储到SSD中，冷数据（访问不频繁）存储到磁盘中。

## 单机存储引擎 ##

[SMP]: https://blog.csdn.net/sphone89/article/details/8545936