二、 MySQL 内部技术架构

秒速五厘米 2023-10-14 16:03 22阅读 0赞

二、 MySQL 内部技术架构  
![在这里插入图片描述][56796d25d3a2488e83d9d15385e2dae1.png]  
![在这里插入图片描述][0cfeecfaea0d44089e430c2f4986a7fd.png]  
**047 Mysql内部支持缓存查询吗？**

当MySQL接收到客户端的查询SQL之后，仅仅只需要对其进行相应的权限验证之后，就会通过Query  
Cache来查找结果，甚至都不需要经过Optimizer模块进行执行计划的分析优化，更不需要发生任何存储  
引擎的交互  
**mysql5.7支持内部缓存，8.0之后就废弃掉了**

**048 mysql8为何废弃掉查询缓存？**  
缓存的意义在于快速查询提升系统性能，可以灵活控制缓存的一致性  
mysql缓存的限制

1.  mysql基本没有手段灵活的管理缓存失效和生效，尤其对于频繁更新的表
2.  SQL必须完全一致才会导致cache命中
3.  为了节省内存空间，太大的result set不会被cache (< query\_cache\_limit)；
4.  MySQL缓存在分库分表环境下是不起作用的；
5.  执行SQL里有触发器,自定义函数时，MySQL缓存也是不起作用的；
6.  在表的结构或数据发生改变时，基于该表相关cache立即全部失效。

**049 替代方案是什么？**  
应用层组织缓存，最简单的是使用redis，ehcached等

**050 Mysql内部有哪些核心模块组成，作用是什么？**  
![在这里插入图片描述][f2e283e68ecf4e90a6cd7b7772e16394.png]  
**Connectors（客户端）**  
MySQL服务器之外的客户端程序，与具体的语言相关，例如Java中的JDBC，图形用户界面SQLyog等。  
本质上都是在TCP连接上通过MySQL协议和MySQL服务器进行通信。  
**MySQL Server（服务器）**  
**第1层：连接层**  
系统（客户端）访问 MySQL 服务器前，做的 第一件事就是建立 TCP 连接 。  
经过三次握手建立连接成功后， MySQL 服务器对 TCP 传输过来的账号密码做 身份认证、权限获  
取 。  
用户名或密码不对 ，会收到一个 Access denied for user 错误，客户端程序结束执行  
用户名密码认证通过 ，会从权限表 查出账号拥有的权限 与连接关联，之后的权限判断逻辑，都  
将依赖于此时读到的权限  
TCP 连接收到请求后，必须要分配给一个线程专门与这个客户端的交互。所以还会有个线程池，去  
走后面的流程。每一个连接从线程池中获取线程，省去了创建和销毁线程的开销。  
**第2层：服务层**  
Management Serveices & Utilities： 系统管理和控制工具  
SQL Interface：SQL接口：  
接收用户的SQL命令，并且返回用户需要查询的结果。 比如SELECT … FROM就是调用SQL Interface  
key 非key key 非key  
SELECT age FROM user  
MySQL支持DML（数据操作语言）、DDL（数据定义语言）、存储过程、视图、触发器、自定义  
函数等多种SQL语言接口  
Parser：解析器：  
在SQL命令传递到解析器的时候会被解析器验证和解析。解析器中SQL 语句进行 语法分析、语法解  
析 ，并为其创建 语法树 。  
语法分析  
语法分析主要是把输入转化成若干个tokens，包含key和非key。  
在分析之后，会得到4个Token，其中有2个key，它们分别是SELECT、FROM。  
![在这里插入图片描述][4d0890966e174d789b8a8507137614f0.png]  
**Optimizer：查询优化器：**  
SQL语句在语法解析后、查询前会使用查询优化器对查询进行优化， 确定SQL语句的执行路径，生成  
一个执行计划 。  
Caches & Buffers： 查询缓存组件：  
MySQL内部维持着一些Cache和Buffer，比如Query Cache用来缓存一条SELECT语句的执行结  
果，如果能够在其中找到对应的查询结果，那么就不必再进行查询解析、查询优化和执行的整个过  
程了，直接将结果反馈给客户端。  
这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等 。  
这个查询缓存可以在不同客户端之间共享 。

**第3层：引擎层**  
插件式存储引擎层（ Storage Engines）， 负责MySQL中数据的存储和提取，对物理服务器级别维护的底层数  
据执行操作，服务器通过API与存储引擎进行通信 。不同的存储引擎具有的功能不同，管理的表有不同的存  
储结构，采用的存取算法也不同，这样我们可以根据自己的实际需要进行选取。例如MyISAM引擎和  
InnoDB引擎。

**存储层**  
所有的数据、数据库、表的定义、表的每一行的内容、索引，都是存在 文件系统 上，以文件的方式存  
在，并完成与存储引擎的交互。

**051 一条sql发送给mysql后，内部是如何执行的？（说一下 MySQL  
执行一条查询语句的内部执行过程？）**

![在这里插入图片描述][b0f353bbb15a4cdd95b86f102fa41682.png]  
首先， MySQL客户端通过协议与MySQL服务器建连接，通过SQL接口发送SQL语句，先检查查询缓存，如果命中，  
直接返回结果，否则进行语句解析。 也就是说，在解析查询之前，服务器会先访问查询缓存，如果某个查  
询结果已经位于缓存中，服务器就不会再对查询进行解析、优化、以及执行。它仅仅将缓存中的结果返  
回给用户即可，这将大大提高系统的性能。  
接下来， MySQL解析器通过关键字将SQL语句进行解析，并生成一棵对应的解析树， 解析器使用MySQL语法规  
则验证和解析SQL语句。例如，它将验证是否使用了错误的关键字，或者使用关键字的顺序是否正确，  
引号能否前后匹配等； 预处理器则根据MySQL规则进一步检查解析树是否合法， 例如，这里将检查数据表和  
数据列是否存在，还会解析名字和别名，看是否有歧义等。 然后预处理器会进行查询重写，生成一棵新解析  
树。  
接下来， 查询优化器将解析树转化成执行计划。 MySQL优化程序会对我们的语句做一些优化，如子查询转  
换为连接、表达式简化等等。优化的结果就是生成一个执行计划，这个执行计划表明了应该使用哪些索  
引执行查询，以及表之间的连接顺序是啥样，等等。我们可以使用EXPLAIN语句来查看某个语句的执行  
计划。  
最后， 进入执行器阶段。 完成查询优化后， 查询执行引擎 会按照生成的执行计划调用存储引擎提供的接口  
执行SQL查询并将结果返回给客户端。在MySQL8以下的版本，如果设置了查询缓存，这时会将查询结  
果进行缓存，再返回给客户端。  
![在这里插入图片描述][591d4e2161804ac48edbd1a3a301af9b.png]  
**052 MySQL 提示“不存在此列”是执行到哪个节点报出的？**  
是在Parser：解析器 分析sql语法的时候检查的列。

**053 如果一张表创建了多个索引，在哪个阶段或模块进行的索引选  
择？**

在优化器阶段Optimizer：查询优化器：

**054 MySQL 支持哪些存储引擎？默认使用哪个？**  
查看MySQL提供什么存储引擎  
SHOW ENGINES;  
![在这里插入图片描述][3b1a6e81268841a2a2e8d96d05bd8391.png]

也可以通过以下语句查看默认的存储引擎：  
SHOW VARIABLES LIKE ‘%default\_storage\_engine%’;  
![在这里插入图片描述][ea6614cb6e374b19b4ce0e7980de6026.png]  
**055 Mysql8.0自带哪些存储引擎？分别是做什么的？**

1.  InnoDB存储引擎  
    InnoDB是MySQL的默认事务型引擎，它被设计用来 处理大量的短期(short-lived)事务 。可以确保  
    事务的完整提交(Commit)和回滚(Rollback)。  
    除非有非常特别的原因需要使用其他的存储引擎，否则 应该优先考虑InnoDB引擎 。  
    数据文件结构：  
    表名.frm 存储表结构（MySQL8.0时，合并在表名.ibd中）  
    表名.ibd 存储数据和索引  
    InnoDB不仅缓存索引还要缓存真实数据， 对内存要求较 高 ，而且内存大小对性能有决定性的影  
    响。
2.  MyISAM存储引擎  
    MyISAM提供了大量的特性，包括全文索引、压缩、空间函数(GIS)等，但 MyISAM不支持事务和行级  
    锁 ，有一个毫无疑问的缺陷就是崩溃后无法安全恢复。  
    优势是访问的 速度快 ，对事务完整性没有要求或者以SELECT、INSERT为主的应用。  
    数据文件结构：  
    表名.frm 存储表结构  
    表名.MYD 存储数据  
    表名.MYI 存储索引  
    SHOW VARIABLES LIKE ‘%default\_storage\_engine%’;  
    MyISAM只缓存索引，不缓存真实数据。
3.  Archive引擎  
    Archive档案存储引擎只支持INSERT和SELECT操作 。  
    Archive表适合日志和数据采集（档案）类应用。  
    根据英文的测试结论来看，Archive表比MyISAM表要小大约75%，比支持事务处理的InnoDB表小  
    大约83%。
4.  Blackhole引擎  
    Blackhole引擎没有实现任何存储机制，它会丢弃所有插入的数据，不做任何保存 。  
    但服务器会记录Blackhole表的日志，所以可以用于复制数据到备库，或者简单地记录到日志。但  
    这种应用方式会碰到很多问题，因此并不推荐。
5.  CSV引擎  
    CSV引擎可以将普通的CSV文件作为MySQL的表来处理，但不支持索引 。  
    CSV引擎可以作为一种数据交换的机制，非常有用。  
    CSV存储的数据直接可以在操作系统里，用文本编辑器，或者excel读取。
6.  Memory引擎  
    如果需要快速地访问数据，并且这些数据不会被修改，重启以后丢失也没有关系，那么使用  
    Memory表是非常有用。  
    Memory表至少比MyISAM表要快一个数量级。
7.  Federated引擎  
    Federated引擎是访问其他MySQL服务器的一个代理（跨库关联查询） ，尽管该引擎看起来提供了一种  
    很好的跨服务器的灵活性，但也经常带来问题，因此默认是禁用的。  
    056 MySQL 存储引擎架构了解吗？  
    ![在这里插入图片描述][0e58edb4fb7043feaa79cc6c7958a37a.png]  
    内存区域  
    Buffer Pool:在InnoDB访问表记录和索引时会在Buffer Pool的页中缓存，以后使用可以减少磁盘IO操  
    作，提升效率。主要用来缓存热的数据页和索引页。  
    Log Buffer：用来缓存redolog  
    Adaptive Hash Index：自适应哈希索引  
    Change Buffer:它是一种应用在非唯一普通索引页（non-unique secondary index page）不在缓冲池  
    中，对页进行了写操作，并不会立刻将磁盘页加载到缓冲池，而仅仅记录缓冲变更（Buffer  
    Changes），等未来数据被读取时，再将数据合并（Merge）恢复到缓冲池中的技术。写缓冲的目的是  
    降低写操作的磁盘IO，提升数据库性能。

磁盘区域  
磁盘中的结构分为两大类：表空间和重做日志。  
表空间：分为系统表空间(MySQL 目录的 ibdata1 文件)，临时表空间，常规表空间，Undo 表空间  
以及 file-per-table 表空间(MySQL5.7默认打开file\_per\_table 配置）。系统表空间又包括了  
InnoDB数据字典，双写缓冲区(Doublewrite Buffer)，修改缓存(Change Buffer），Undo日志  
等。  
Redo日志：存储的就是 Log Buffer 刷到磁盘的数据。

**057 能否单独为一张表设置存储引擎？**  
方法1：  
设置默认存储引擎：  
SET DEFAULT\_STORAGE\_ENGINE=MyISAM;

方法2：  
或者修改 my.cnf 文件：vim /etc/my.cnf  
新增一行：default-storage-engine=MyISAM  
重启MySQL：systemctl restart mysqld

方法3：  
我们可以为 不同的表设置不同的存储引擎

CREATE TABLE 表名( 建表语句; ) ENGINE = 存储引擎名称;  
ALTER TABLE 表名 ENGINE = 存储引擎名称;

**058 阿里、京东等大厂都有自研的存储引擎，如何开发一套自己的？**  
开发存储引擎并不难，难的是开发出来高效的有意义的存储引擎。  
简单例子可以看一下官方源码中的示例，可以实现一个什么也没做的存储引擎。  
有兴趣可以参考官方文档：https://dev.mysql.com/doc/dev/mysql-server/latest/

**059 MyISAM 和 InnoDB 的区别是什么？**  
外键 事务 锁  
![在这里插入图片描述][76b2a8365de741a7af77759a51b7e968.png]  
**060 具体说一下如何做技术选型**  
除非几乎没有写操作全部都是高频的读操作可以选择MyISAM作为表的存储引擎，其他业务可以一律使  
用InnoDB。

[56796d25d3a2488e83d9d15385e2dae1.png]: https://img-blog.csdnimg.cn/56796d25d3a2488e83d9d15385e2dae1.png
[0cfeecfaea0d44089e430c2f4986a7fd.png]: https://img-blog.csdnimg.cn/0cfeecfaea0d44089e430c2f4986a7fd.png
[f2e283e68ecf4e90a6cd7b7772e16394.png]: https://img-blog.csdnimg.cn/f2e283e68ecf4e90a6cd7b7772e16394.png
[4d0890966e174d789b8a8507137614f0.png]: https://img-blog.csdnimg.cn/4d0890966e174d789b8a8507137614f0.png
[b0f353bbb15a4cdd95b86f102fa41682.png]: https://img-blog.csdnimg.cn/b0f353bbb15a4cdd95b86f102fa41682.png
[591d4e2161804ac48edbd1a3a301af9b.png]: https://img-blog.csdnimg.cn/591d4e2161804ac48edbd1a3a301af9b.png
[3b1a6e81268841a2a2e8d96d05bd8391.png]: https://img-blog.csdnimg.cn/3b1a6e81268841a2a2e8d96d05bd8391.png
[ea6614cb6e374b19b4ce0e7980de6026.png]: https://img-blog.csdnimg.cn/ea6614cb6e374b19b4ce0e7980de6026.png
[0e58edb4fb7043feaa79cc6c7958a37a.png]: https://img-blog.csdnimg.cn/0e58edb4fb7043feaa79cc6c7958a37a.png
[76b2a8365de741a7af77759a51b7e968.png]: https://img-blog.csdnimg.cn/76b2a8365de741a7af77759a51b7e968.png