Java八股文之数据库篇

短命女 2024-04-03 10:15 93阅读 0赞

#### 文章目录 ####

*  MySQL
 *   *  limit后面可以跟几个参数，代表什么含义？
     *  什么是内连接、左外链接和右外链接？
     *  数据库的事务
     *  索引是什么？
     *  索引的优缺点
     *  什么时候不要使用索引？
     *  MySQL 索引类型有哪些？
     *  主键与索引有什么区别？
     *  MySQL 的性能优化
     *  SQl优化
     *  drop、delete与truncate的区别
     *  死锁发生的原因以及怎么避免
 *  Redis
 *   *  为什么要使用Redis,Redis的使用场景？
     *  如何保证Redis和MySQL的数据一致性
     *  Redis如何内存优化？
     *  Redis中的管道有什么用？
     *  Redis的持久化
     *  缓存穿透
     *  缓存击穿
     *  缓存雪崩

## MySQL ##

### limit后面可以跟几个参数，代表什么含义？ ###

（1）跟两个参数：  
limit 开始的索引,每页查询的条数  
（1）跟一个参数  
limit 5：检索前5条数据

### 什么是内连接、左外链接和右外链接？ ###

（1）内连接查询的是两张表中相关联的数据  
（2）左外链接查询的是左表所有数据及其交集的部分，右表中未匹配到的字段用null表示  
（3）右外链接查询的是右表所有数据及其交集的部分，坐表中未匹配到的字段用null表示

### 数据库的事务 ###

（1）什么是事务？  
多条sql语句，要么全部成功，要么全部失败。  
（2）数据库事务特性：原子性(Atomic)、一致性(Consistency)、隔离性(Isolation)、持久性  
(Durabiliy)。简称ACID。  
①原子性：组成一个事务的多个数据库操作是一个不可分割的原子单元，只有所有操作都成功，  
整个事务才会提交。任何一个操作失败，已经执行的任何操作都必须撤销，让数据库返回初始  
状态。  
②一致性：事务操作成功后，数据库所处的状态和它的业务规则是一致的。即数据不会被破坏。  
如A转账100元给B，不管操作是否成功，A和B的账户总额是不变的。  
③隔离性：在并发数据操作时,不同的事务拥有各自的数据空间,它们的操作不会对彼此产生干扰  
④持久性：一旦事务提交成功，事务中的所有操作都必须持久化到数据库中。

### 索引是什么？ ###

（1）索引是帮助MySQL高效获取数据的数据结构。简单的说，数据库索引好比是一本书  
前面的目录，能加快数据库的查询速度。  
（2）一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往是存储在磁盘上  
的文件中的(可能存储在单独的索引文件中，也可能和数据一起存储在数据文件中)。我们  
通常所说的索引，包括聚集索引、覆盖索引、组合索引、前缀索引、唯一索引等，没有特  
别说明，默认都是使用B+树结构组织（多路搜索树，并不一定是二叉的）的索引

### 索引的优缺点 ###

（1）优点：  
①提高数据的检索速度，降低数据库IO成本；使用索引的意义就是通过缩小表中需要查询的记录数目，从而加快搜索的速度  
②降低数据排序的成本，降低CPU消耗，索引之所以查的快，是因为先将数据排好序，若该字段正好需要排序，则降低了排序的成本  
（2）缺点：  
①占用存储空间：索引实际上也是一张表，记录了主键与索引字段，一般以索引文件的形式存储在磁盘上  
②降低更新表的速度：若表的数据发生了变化，对应的索引也要一起变更，从而降低更新速度。否则索引指向的物理数据可能不对，这也是索引失效的原因之一。

### 什么时候不要使用索引？ ###

（1）经常增删改的列不要建立索引  
（2）有大量重复的列不要建立索引  
（3）表记录太少不要建立索引

### MySQL 索引类型有哪些？ ###

（1）主键索引  
索引列中的值必须是唯一的，不允许有空值。  
（2）普通索引  
普通索引是MySQL中的基本索引类型，没有什么限制，允许在定义索引的列中插入重复值和空值。  
（3）唯一索引  
索引列中的值必须是唯一的，但是允许有空值。  
（4）全文索引  
只能在文本类型CHAR,VARCHAR,TEXT的字段上创建全文索引。字段长度比较大时，如果创建普通索引，在进行like模糊查询时效率比较低，这时可以创建全文索引。MyISAM和InnoDB中都可以使用全文索引。

### 主键与索引有什么区别？ ###

（1）主键一定会创建一个唯一索引，但是有唯一索引的列不一定是主键  
（2）主键不允许有空值，唯一索引允许有空值  
（3）一个表只能有一个主键，但是可以有多个唯一索引  
（4）主键可以被其他表引用为外键，唯一索引列不可以  
（5）主键是一种约束，而唯一索引是一种索引，是表的冗余数据结构

### MySQL 的性能优化 ###

MySQL 的性能优化可以分为 4 大部分  
（1）硬件和操作系统层面的优化  
（2）架构设计层面的优化  
（3）MySQL 程序配置优化  
（4）SQL 执行优化  
1）硬件及操作系统层面优化  
①从硬件层面来说,影响 Mysql 性能的因素有:CPU、可用内存大小、磁盘读写速度、 网络带宽  
②从操作系层面来说， 应用文件句柄数、操作系统网络的配置都会影响到 Mysql性能。这部分的  
优化一般由 DBA 或者运维工程师去完成。  
③在硬件基础资源的优化中， 我们重点应该关注服务本身承载的体量， 然后提出合理的指标要求，  
避免出现资源浪费！  
2）架构设计层面的优化  
MySQL 是一个磁盘 IO 访问量非常频繁的关系型数据库。在高并发和高性能的场景中,MySQL数据  
库必然会承受巨大的并发压力；此时，我们的优化方式可以分为几个部分：  
①搭建 Mysql 主从集群， 单个 Mysql 服务容易单点故障，一旦服务器宕机，将会导致依赖 Mysql  
数据库的应用全部无法响应。 主从集群或者主主集群都可以保证服务的高可用性。  
② 读写分离设计， 在读多写少的场景中， 通过读写分离的方案， 可以避免读写冲突导致的性能影响  
③ 引入分库分表机制， 通过分库可以降低单个服务器节点的 IO 压力， 通过分表的方式可以降低单表  
数据量，从而提升sql查询的效率。  
④ 针对热点数据， 可以引入更为高效的分布式数据库， 比如 Redis、 MongoDB等，他们可以很好的  
缓解 Mysql 的访问压力，同时还能提升数据检索性能。  
3）MySQL 程序配置优化  
MySQL 是一个经过互联网大厂验证过的生产级别的成熟数据库， 对于 Mysql 数据库本身的优化，一般  
是通过 Mysql 中的配置文件 my.cnf 来完成的， 比如：  
①Mysql5.7 版本默认的最大连接数是 151 个， 这个值可以在 my.cnf 中修改。  
②binlog 日志， 默认是不开启，我们也可以去开启  
③缓存池 Bufferpoll 的默认大小配置等。  
由于这些配置一般都和用户安装的硬件环境以及使用场景有关系， 因此这些配置官方只会提供一个默认值，  
具体情况还得由使用者来修改。关于配置项的修改， 需要关注两个方面。  
①配置的作用域， 分为会话级别和全局范围  
②是否支持热加载  
因此， 针对这两个点， 我们需要注意的是：  
①全局参数的设定对于已经存在的会话无法生效  
②会话参数的设定随着会话的销毁而失效  
③全局类的统一配置建议配置在默认配置文件中， 否则重启服务会导致配置失效  
4）SQL 优化又能分为三步曲  
第一、 慢 SQL 的定位和排查  
我们可以通过慢查询日志和慢查询日志分析工具得到有问题的 SQL 列表。  
l 第二、 执行计划分析  
针对慢 SQL， 我们可以使用关键字 explain 来查看当前 sql 的执行计划.可以重点  
关注 type key rows filterd 等字段 ， 从而定位该 SQL 执行慢的根本原因。 再有  
的放矢的进行优化  
l 第三、 使用 show profile 工具  
Show Profile 是 MySQL 提供的可以用来分析当前会话中， SQL 语句资源消耗情  
况的工具， 可用于 SQL 调优的测量。 在当前会话中.默认情况下处于 show profile  
是关闭状态， 打开之后保存最近 15 次的运行结果  
针对运行慢的 SQL， 通过 profile 工具进行详细分析.可以得到 SQL 执行过程中  
所有的资源开销情况.  
如 IO 开销,CPU 开销,内存开销等.  
以上就是我对 MySQL 性能优化的理解。  
好的， 看完高手的回答后， 相信各位对 MySQL 性能优化有了一定的理解了， 最  
后我在给各位总结一下常见的 SQL 优化规则：

### SQl优化 ###

（1）基本写法优化  
①少使用select \*，尽量使用具体字段  
②对于条件查询,等号两边的字段类型要一致;字符串不加单引号索引会失效。  
③尽量少使用Order By 排序，对于需要多个字段进行排序的可以使用组合索引  
④对于group by语句要先过滤后分组  
⑤在查询时减少使用null，对字段有多个null的可以加默认值  
⑥少使用like,对于需要使用的应尽量用 like abc%这种，不要把%放在字段前面  
⑦在where后面少使用函数或者算数运算  
⑧去重的 distinct 过滤字段要少，避免 distinct \*  
⑨不要超过5个以上的表连接  
（2）建立适当索引  
①对于高频筛选字段可以适当的建立索引  
②一个表的索引最好不要超过5个，多了会影响插入、修改  
③不要对值是有限重复的字段建立索引，如性别等  
④使用组合索引一定要遵守最左原则  
（3）替代优化  
①不要使用not in和<>,这个会破坏索引，not in 可以用not exists来代替，<>可以分成两个条件  
`> 或者 <` 等  
②使用连接（join）来代替子查询

### drop、delete与truncate的区别 ###

（1）SQL中的drop、delete、truncate都表示删除，但是三者有一些差别  
（2）delete和truncate只删除表的数据不删除表的结构； 速度,一般来说: drop> truncate >delete  
（3）delete语句是dml,这个操作会放到rollback segement中,事务提交之后才生效; 如果有相应的trigger,执行  
的时候将被触发  
（4） truncate,drop是ddl, 操作立即生效,原数据不放到rollback segment中,不能回滚,操作不触发trigger

### 死锁发生的原因以及怎么避免 ###

（1）死锁， 简单来说就是两个或者两个以上的线程在执行的过程中， 争夺同一个共享资源造成的相互等待  
的现象。如果没有外部干预， 线程会一直阻塞无法往下执行， 这些一直处于相互等待资源的线程就称为死锁  
线程。导致死锁的条件有四个， 也就是这四个条件同时满足就会产生死锁。  
①互斥条件， 共享资源 X 和 Y 只能被一个线程占用；  
②请求和保持条件， 线程 T1 已经取得共享资源 X， 在等待共享资源 Y 的时候， 不释放共享资源 X；  
③不可抢占条件， 其他线程不能强行抢占线程 T1 占有的资源；  
④循环等待条件， 线程 T1 等待线程 T2 占有的资源， 线程 T2 等待线程 T1 占有的资源，就是循环等待。  
（2）导致死锁之后， 只能通过人工干预来解决， 比如重启服务， 或者杀掉某个线程。所以， 只能在写  
代码的时候， 去规避可能出现的死锁问题。按照死锁发生的四个条件，只需要破坏其中的任何一个， 就  
可以解决;但是，互斥条件是没办法破坏的， 因为这是互斥锁的基本约束，其他三方条件都有办法来破坏：  
①对于“请求和保持”这个条件， 我们可以一次性申请所有的资源， 这样就不存在等待了。  
②对于“不可抢占”这个条件， 占用部分资源的线程进一步申请其他资源时， 如果申请不到，可以主动释放  
它占有的资源， 这样不可抢占这个条件就被破坏掉了。  
③对于“循环等待”这个条件， 可以靠按序申请资源来预防。 所谓按序申请， 是指资源是有线性顺序的，  
申请的时候可以先申请资源序号小的， 再申请资源序号大的，这样线性化后自然就不存在循环了。

## Redis ##

### 为什么要使用Redis,Redis的使用场景？ ###

使用Redis缓存的目的就是提升读写性能。而实际业务场景下，更多的是为了提升读性能，还可以带来更高的并发量。Redis 的读写性能比 Mysql 好的多，我们就可以把Mysql中的热点数据缓存到 Redis 中，提升读取性能，同时也减轻了 Mysql 的读取压力  
①适合存储热点数据(热点商品、资讯、新闻)  
②缓存  
③任务队列  
④消息队列  
⑤分布式锁

### 如何保证Redis和MySQL的数据一致性 ###

（1）一般情况下， Redis 用来实现应用和数据库之间读操作的缓存层，主要目的是减少数据库 IO，  
还可以提升数据的 IO 性能。当应用程序需要去读取某个数据的时候， 首先会先尝试去 Redis  
里面加载， 如果命中就直接返回。 如果没有命中， 就从数据库查询， 查询到数据后再把这个  
数据缓存到 Redis 里面。  
（2）在这样一个架构中， 会出现一个问题， 就是一份数据， 同时保存在数据库和 Redis里面，  
当数据发生变化的时候，需要同时更新 Redis 和 Mysql， 由于更新是有先后顺序的，并且它不像  
Mysql 中的多表事务操作， 可以满足 ACID(原子性、一致性、持久性和隔离性) 特性。 所以就会  
出现数据一致性问题。 在这种情况下， 能够选择的方法只有几种。  
1）先更新数据库， 再更新缓存  
2）先删除缓存， 再更新数据库  
①如果先更新数据库，再更新缓存，如果缓存更新失败，就会导致数据库和 Redis中的数据不一致。  
②如果是先删除缓存， 再更新数据库，理想情况是应用下次访问 Redis 的时候，发现 Redis 里面的  
数据是空的， 就从数据库加载保存到 Redis 里面， 那么数据是一致的。 但是在极端情况下， 由于  
删除 Redis 和更新数据库这两个操作并不是原子的，所以这个过程如果有其他线程来访问， 还是会  
存在数据不一致问题。  
（3）我的方法是采用：延时双删策略  
①先删除redis中的数据  
②更新数据库  
③再延时删除redis  
![在这里插入图片描述][ab79618be8ce4d8ba990f82b2e2f7786.png]

例如:客户端1去修改接口的数据时，先删除已有的redis缓存;这时,客户端2查询这个接口,因为redis中没有数据,就会去查找MySQL数据库,将数据缓存到redis中。此时,客户端1更新MySQL数据后,再延时删除redis缓存(延时删除的目的是为了保证构建缓存执行完毕后再去删除，以免删不掉)。当下次再有客户访问时，就又会重新查询数据库,从而保证数据的一致性。  
缺点：由于它有延时操作，会造成服务器的阻塞。所以,不适合高并发的场景

### Redis如何内存优化？ ###

（1）尽可能的使用散列表，散列表使用的内存非常小，所以你应该尽可能的将你的数据模型抽象到一个散列表里面。  
（2）比如你的web系统中有一个用户对象，不要为这个用户的名称，邮箱，密码设置单独的key,而是应该把这个用户的所有信息存储到一张散列表里面。

### Redis中的管道有什么用？ ###

一次请求/响应，服务器能处理新的请求，既使旧的请求还未被响应。这样就可以将多个命令发送到服务器，而  
不用等待回复,最后在一个步骤中读取该答复,这就是管道。这是一种几十年来广泛使用的技术。例如许多POP3  
协议已经实现支持这个功能，大大加快了从服务器下载新邮件的功能。

### Redis的持久化 ###

Redis的持久化有RDB和AOF2中方式  
（1）RDB：将数据库快照以二进制的方式保存到磁盘中  
（2）AOF：以协议文本方式，将所有对数据库进行过写入的命令和参数记录到AOF文件，从而记录数据库状态。

### 缓存穿透 ###

![；][114b52050c384d00a77bfb77e8707edb.png]

1.缓存穿透问题产生原因：  
（1）redis查询不到数据，造成大量未命中，一直去查询数据库  
（2）出现很多非正常的(恶意)URL访问  
2.解决方案  
（1）对空值进行缓存：如果一个查询返回的数据为空，我们仍然把这个(null)结果进行缓存，设置空结果的过期时间会  
很短，最长不超过5分钟  
（2）设置可访问的白名单  
使用bitmaps类型定义一个可以访问的名单，名单id作为bitmaps的偏移量，每次访问和bitmaps里面的id进行比较，如果  
访问id不在bitmaps里面，进行拦截，不允许访问  
（3）采用布隆过滤器（布隆过滤器实际上是一个很长的二进制向量(位图)和一系列随机映射函数(哈希函数)）：  
布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是  
有一定的误识别率和删除困难。将所有可能存在的数据哈希到一个足够大的 bitmaps 中,一个一定不存在的数据会被这个  
bitmaps 拦截掉，从而避免了对底层存储系统的查询压力  
（4）进行实时监控：当发现Redis的命中率开始急速降低，需要排查访问对象和访问的数据，和运维人员配合，可以  
设置黑名单限制服务。

### 缓存击穿 ###

![在这里插入图片描述][efdfead3945a47288aedbc1b97a048d7.png]

1.产生原因  
redis某个key过期了，而当时正好大量访问这个key  
2.解决方案  
（1）预先设置热门数据：在redis高峰访问之前，把一些热门数据提前存入到redis里面，加大这些热门数据key的时长  
（2）实时调整：现场监控那些热门数据，实时调整key的过期时长  
（3）使用锁：  
①就是在缓存失效的时候(判断拿出来的值为空)，不是立即去load db;  
②而是先使用缓存工具的某些带成功操作返回值的操作(比如Redis的setnx)

### 缓存雪崩 ###

![在这里插入图片描述][a70db02c287d4f1583631f0558fa2b70.png]  
1.产生原因：在极少时间段内，查询中出现大量key集中过期  
2.解决方案：  
（1）构建多级缓存：nginx缓存+redis缓存+其他缓存(ehcache等)  
（2）使用锁或队列：  
用加锁或者队列的方式来保证不会有大量的数据对数据库一次性进行读写，从而避免失效时大量的并发请求落到底层  
存储系统上。不适用高并发情况。  
（3）设置过期标志更新缓存  
记录缓存数据是否过期(设置提前量),如果过期会触发通知另外的线程在后台去更新实际key的缓存  
（4）将缓存失效时间分散开  
比如我们可以在原有的失效时间上增加一个随机值，比如1-5分钟随机，这样每一个缓存的过期时间的重复率就会降低，就  
很难引发集体失效的事件。

[ab79618be8ce4d8ba990f82b2e2f7786.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4d6049c7167143758ce803e286ee4f6a.png
[114b52050c384d00a77bfb77e8707edb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/536fc00ee0804e3e83c1ede7582ed48f.png
[efdfead3945a47288aedbc1b97a048d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4d3cda49b88946d097a0352007df9524.png
[a70db02c287d4f1583631f0558fa2b70.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/88baecc48f2a4c1eb2b18523830d2c31.png