【Redis】001-NoSQL概述

偏执的太偏执、 2023-10-05 11:38 66阅读 0赞

# 一、数据库演进（以前） #

2020年了，我们现在处于**大数据时代**；

**大数据：**一般的数据库无法进行分析处理了！2006年Hadoop发布；

2020年了，必须精通Spring Boot + Spring Cloud才有竞争力！

## 1、单机MySQL的时代 ##

## ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70][] ##

90年代，一个基本的网站访问量一般不是太大，这个时候一个数据库完全足够了；

那个时候更多的是使用静态网页html，服务器根本没有压力；

### 思考一下：这种情况下我们网站的瓶颈是什么？ ###

①数据量如果太大，一台机器放不下了；

②数据的索引（MySQL超过300万条数据，就要建立索引，B + Tree）一台机器内存也放不下；

③如果访问量（读写混合）比较大，一台服务器无法承受；

**只要出现以上三个问题之一，就必须晋级！**

## 2、“Memcached（缓存） + MySQL + 垂直拆分（读写分离）”时代 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 1][]

网站80%的情况都是在读取，如果所有的读取都去查询数据库的话特别麻烦且耗费资源！所以我们想将数据缓存起来，当其他用户再次查询该数据的时候直接从缓存获取，以减轻服务器压力，提高效率；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 2][]

**发展过程：**优化数据结构和索引——文件缓存（IO）——Memcached（当时最热门的技术）；

真正的人才并不去大公司，我们的竞争对手并不是人才，而是那些图安稳又踏实的人（老实人）！

# 二、当今的企业架构分析 #

## 1、分库分表 + 水平拆分 + MySQL集群 ##

技术和业务在发展的同时对人的要求也越来越高了！

**本质：数据库 = 读 + 写；**

早些年MyISAM：表锁（100万条数据，如果要查张三的密码要把整张表锁起来，特别影响效率，无法适应高并发！）

转战Innodb：行锁；

再后来：使用分库分表来解决写的压力，不同的业务存放在不同的数据库表中，MySQL在那个年代退出了表分区，但使用并不广泛；

MySQL集群：很好满足了那个年代的需求；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 3][]

## 2、当今时代 ##

**技术爆炸：**2010年（按键手机+Android雏形）——2020年（Android发展到顶点，即将落幕，马上进入万物互联时代）；

定位、实时热榜、天猫双11实时数据大屏等等，MySQL等关系型数据库已经无法满足需求，因为数据量大、变化快；

新型数据库：图形数据库、JSON数据库；

如微信公众号某篇爆款文章，瞬间阅读量10w+，拿到访问了10w+次数据库吗？肯定不是！这些数据会预先存到缓存里面，每过一段时间进行持久化罢了！否则数据库压力就太大了！

有时候存储一些比较大的文件，如博客、图片等等，数据库很大，效率很低，如果有一种数据库专门用来存储此类数据，MySQL的压力就会很小了（研究如何解决这些问题），大数据的IO压力下，表几乎无法更改！

### 目前一个基本的互联网项目的样子： ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 4][]

### 为什么要用NoSQL? ###

用户的个人信息、社交网络、地位位置、用户自己产生的数据、用户日志等等爆发式的增长！

这个时候我们需要NoSQL数据库，可以很好地处理以上的情况！

# 三、到底什么是NoSQL #

## 1、NoSQL ##

NoSQL = Not Only SQL，不是没有SQL。而是不仅仅是SQL！

关系型数据库：表格、行、列；

泛指非关系型数据库，随着web2.0互联网的诞生，传统的关系型数据库很难满足web2.0时代的要求！以前，那些超大规模高并发的社区，暴露除了很多难以克服的问题，NoSQL在当今大数据环境下发展地十分迅速，Redis是发展最快的，是必须掌握的技术！

很多的数据类型如用户信息、社交网络、地理位置、图片等等，这些数据类型的存储不需要一个固定的格式，不需要多余的操作就可以横向扩展；

## 2、NoSQL特点 ##

方便扩展（数据之间没有关系，很好扩展！）；

大数据量高性能（1秒可以写8万次，可以读取11万次，NoSQL的缓存是一种细粒度的缓存，性能高！）；

数据类型是多样型的（不需要事先设计数据库，随取随用；数据量非常大的表，很多人无法设计数据库）；

### 传统的RDBMS和NoSQL的区别： ###

**传统的RDBMS：**

1、结构化组织；
    
    2、SQL；
    
    3、数据和关系都存在单独的表中：行、列；
    
    4、数据操作语言、数据定义语言；
    
    5、严格的一致性；

**NoSQL：**

1、不仅仅是数据；
    
    2、没有固定的查询语言；
    
    3、键值对存储，列存储，文档存储，图形数据库（社交关系）；
    
    4、最终一致性；
    
    5、CAP定理 和 BASE （异地多活）；
    
    6、高性能、高可用、高可扩展；
    
    7、等等；

# 四、了解（3V + 3高） #

大数据时代的3V：主要是描述问题的；

3V：海量Velume、多样Variety、实时Velocity；

大数据时代的3高：主要是对程序的要求；

3高：高并发、高性能（保证体验和效率）、高可扩（随时拆分、机器不够了、可以扩展机器）；

# 五、真正在公司中的实践 #

NoSQL + 关系型数据库；

**阿里巴巴架构；**

## 1、商品图 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 5][]

## 2、技术解析 ##

### 商品基本信息： ###

名字、价格、商品信息等等；

关系型数据库就可以解决：MySQL/Oracle；

淘宝内部用的MySQL不是大家用的MySQL，淘宝内部用的MySQL已经是被修改过的；

推荐文章：《阿里云的这群疯子》；

### 商品的描述、评论（文字多）： ###

存储在文档型数据库中，Redis/mongoDB；

### 图片： ###

分布式文件系统FastDFS；

淘宝自己的TFS；

Google的GFS；

Hadoop的HDFS；

阿里云的OSS云储存；

### 商品的关键字： ###

搜索引擎 solr elasticsearch；

ISearch：多隆（阿里的第一位程序员、技术大佬、阿里扫地僧）；

（所有牛逼的人都有一段苦逼的经历，但是你只要像傻逼一样坚持，终将牛逼！）

### 商品热门的波段信息： ###

内存数据库；

Redis、Tair、Memache等等；

### 商品交易、外部的支付接口： ###

三方应用；

### 总结： ###

一个简单的网页背后的技术一定不是大家所想的那么简单！

## 3、大型互联网应用的问题 ##

### 存在问题： ###

*  数据类型太多；
 *  数据源太多，经常重构；
 *  数据要改造、大面积改造；

### 解决问题： ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 9][]

等等；

**思想的提高远远大于知识的学习！**

# 六、NoSQL的四大分类 #

## 1、KV键值对型数据库 ##

新浪：**Redis**；

美团：Redis + Tair；

阿里、百度：Redis + Memache；

## 2、文档型数据库（bson和json一样） ##

**MongoDB**（一般必须要掌握）；

> MongoDB是一个基于分布式文件存储的数据库，C++编写，主要用来处理大量的文档；
> 
> MongoDB是一个介于关系型数据库和非关系型数据库中间的产品！MongoDB是非关系数据库中功能最丰富的、最像关系型数据库的数据库；

ConthDB；

## 3、列存储数据库 ##

**HBase**；

分布式文件系统；

## 4、图形数据库 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 10][]

不是存图片的，而是存关系的，比如社交网络、知识图谱等等；

**Neo4j**，InfoGrid；

## 5、四种类型的NoSQL对比 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 11][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201014133707989.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020101413502678.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201014135458581.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201014140607111.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201014172104378.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2020101416455196.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201014170116614.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/2020101417015096.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20201014170257712.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20201014170314395.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20201014171621778.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20201014171855776.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5Njg5MzQz,size_16,color_FFFFFF,t_70