互联网的架构发展史与NoSQl介绍

冷不防 2023-02-16 12:27 17阅读 0赞

### 文章目录 ###

*  一、互联网架构的发展
 *   *  1.1 早期的单机MySQL
     *  1.2 Memcached(缓存)+MySQL+垂直拆分
     *  1.3 MySQl主从读写分离
     *  1.4 分库分表+水平拆分+MySQL集群
     *  1.5 当今互联网的架构
 *  二、NoSQL介绍
 *   *  2.1 NoSQL的优点
     *  2.2 RDBMS vs NoSQL
     *  2.3 NoSQL数据库的四大分类
 *  三、分布式数据库的CAP原理
 *   *  3.1 传统的ACID特性
     *  3.2 NoSQL的CAP特性
     *  3.3 BASE
     *  3.4 分布式+集群

--------------------

# 一、互联网架构的发展 #

## 1.1 早期的单机MySQL ##

互联网发展早期，网站的访问量一般都不大，使用单个数据库可以轻松应付，那时候更多的是静态网站，动态交互类型的网站并不多。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70]  
但是，上述架构存在一些瓶颈：

*  数据量的过大时，一个机器放不下。
 *  数据库的索引(B+Tree)也占据大量磁盘空间。
 *  访问量(读写混合)，一个实例承受不了。

## 1.2 Memcached(缓存)+MySQL+垂直拆分 ##

> **Memcached**作为一个`独立的分布式的缓存服务器`，为多个web服务器提供了一个共享的高性能缓存服务，在Memcached服务器上，又发展了根据hash算法来进行多台Memcached缓存服务的扩展，然后又出现了一致性hash来解决增加或减少缓存服务器导致重新hash带来的大量缓存失效的弊端。

随着访问量的上升，使用单机MySQL架构的网站开始出现数据库性能问题，程序员们开始大量的使用`缓存技术`来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过`文件缓存`来缓解数据库压力，但是当访问量继续增大的时候，又出现了了新的问题：

*  文件缓存不能在多台web机器上共享。
 *  大量的小文件缓存提高了IO压力

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 1]

## 1.3 MySQl主从读写分离 ##

Memcached只能缓解数据库的读取压力，读写集中在一个数据库上让数据库不堪重负，大部分网站开始使用`主从复制技术`来达到读写分离，以提高读写性能和读库的可扩展性。Mysql的`master-slave模式`成为这个时候的网站标配了。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 2]

## 1.4 分库分表+水平拆分+MySQL集群 ##

随着数据量的持续猛增，MySQL主库的写压力开始出现瓶颈，开始将数据库引擎由使用表锁的MyISAM替换为使用行锁的`InnoDB`。同时，开始流行使用`分表分库`来缓解写压力和数据增长的扩展问题。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 3]  
虽然MySQL推出了`MySQL Cluster`集群，但性能也不能很好满足互联网的要求，只是在高可靠性上提供了非常大的保证。

## 1.5 当今互联网的架构 ##

> MySQL的扩展瓶颈：MySQL数据库经常存储一些大文本字段，导致数据库表非常大，在做数据库恢复的时候非常的慢，不容易快速恢复数据库。关系数据库很强大，但是它并不能很好的应付所有的应用场景。MySQL的扩展性差（需要复杂的技术来实现）、大数据下IO压力大、表结构更改困难、正是当前使用MySQL的开发人员面临的问题。

**大数据时代的三V：`海量Volume`、`多样Variety`、`实时Velocity`。**

**互联网需求的三高：`高并发`、`高可扩`、`高性能`。**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 4]

# 二、NoSQL介绍 #

**NoSQL**(NoSQL = Not Only SQL)，意即"不仅仅是SQL"，`泛指非关系型的数据库`。随着互联网的发展，传统的关系数据库在应付超大规模、高并发的、SNS类型的、纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。`NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。`

例如谷歌或Facebook每天为他们的用户收集万亿比特的数据。`这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。`

## 2.1 NoSQL的优点 ##

*  **易扩展**  
    NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。
 *  **大数据量高性能**  
    NoSQL数据库都具有非常高的读写性能，尤其在大数据量下表现优秀。这得益于它的无关系性，数据库的结构简单。一般MySQL使用Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。
 *  **多样灵活的数据模型**  
    NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。

## 2.2 RDBMS vs NoSQL ##

**RDBMS(关系型数据库管理系统)特点**

*  高度组织化结构化数据
 *  结构化查询语言（SQL）
 *  数据和关系都存储在单独的表中。
 *  数据操纵语言，数据定义语言
 *  严格的一致性
 *  基础事务

**NoSQL(非关系型数据库)特点**

*  代表着不仅仅是SQL
 *  没有声明性查询语言
 *  没有预定义的模式
 *  键 - 值对存储，列存储，文档存储，图形数据库
 *  最终一致性，而非ACID属性
 *  非结构化和不可预知的数据
 *  CAP定理
 *  高性能，高可用性和可伸缩性

非关系数据库中，Redis(一专多能，数据类型丰富)、Memcache(高速缓存)、Mongdb(支持海量数据)。Redis简单来说就是：`KV+Cache+Persistence`。

## 2.3 NoSQL数据库的四大分类 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 5]

# 三、分布式数据库的CAP原理 #

## 3.1 传统的ACID特性 ##

关系型数据库的事务遵循ACID四个特性。

<table> 
 <thead> 
  <tr> 
   <th><strong><code>A</code> (Atomicity) 原子性</strong></th> 
   <th>事务是一个不可分割的工作单位。</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong><code>C</code> (Consistency) 一致性</strong></td> 
   <td><strong>事务的运行不会改变数据库原本的一致性约束。</strong></td> 
  </tr> 
  <tr> 
   <td><strong><code>I</code> (Isolation) 独立性</strong></td> 
   <td><strong>事务的执行不能被其他事务干扰，并发执行的各个事务之间不能互相干扰。</strong></td> 
  </tr> 
  <tr> 
   <td><strong><code>D</code> (Durability) 持久性</strong></td> 
   <td><strong>事务一旦被提交，对数据库中数据的改变就是永久性的。</strong></td> 
  </tr> 
 </tbody> 
</table>

## 3.2 NoSQL的CAP特性 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 6]

根据CAP原理将NoSQL数据库分成了满足CA原则、满足CP原则、满足AP原则三大类。

*  `CA`  
    满足 一致性、高可用性的系统；一般在可扩展性上不太强大。
 *  `CP`  
    满足 强一致性、分区容忍性的系统；一般性能不是很高。
 *  `AP`  
    满足 高可用性、分区容忍性的系统；一般对一致性要求低一点。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 7]

> 任何大数据量的web系统，都非常忌讳多个大表的关联查询，以及复杂的数据分析类型的报表查询，特别是SNS类型的网站，从需求以及产品设计角度，就避免了这种情况的产生。往往更多的只是单表的主键查询，以及单表的简单条件分页查询，SQL的功能被极大的弱化了。

## 3.3 BASE ##

BASE是为了`解决关系数据库强一致性引起的问题`而引起的可用性降低而提出的解决方案，它的思想是通过让系统`放松对某一时刻数据一致性的要求`来`换取系统整体伸缩性和性能上改观`。

BASE其实是下面三个术语的缩写：

*  基本可用（Basically Available）
 *  软状态（Soft state）
 *  最终一致（Eventually consistent）

## 3.4 分布式+集群 ##

**分布式系统(Distributed System)**

由多台计算机和通信的软件组件通过计算机网络连接（本地网络或广域网）组成。分布式系统是建立在网络之上的软件系统。正是因为软件的特性，所以`分布式系统具有高度的内聚性和透明性。`因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。分布式系统可以应用在不同的平台上如：Pc、工作站、局域网和广域网上等。

简单来讲：

*  **分布式：** 不同的多台服务器上面部署不同的服务模块（工程），他们之间通过Rpc/Rmi之间通信和调用，对外提供服务和组内协作。
 *  **集群：** 不同的多台服务器上面部署相同的服务模块，通过分布式调度软件进行统一的调度，对外提供服务和访问。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200610095730235.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200610101016852.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200610105523491.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200610113023996.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200610213856891.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200611003629710.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200611011226956.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200611012002579.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY5MTA1OA==,size_16,color_FFFFFF,t_70