分库分表技术简述

朱雀 2022-05-11 07:14 198阅读 0赞

今天和大家聊聊分库分表技术，大家面试的时候肯定都有这样的经历，面试官动不动就问分库分表、高并发、虚拟机、分布式事务等等这些高大上的技术。所以我们还是有必要要了解一下的。

**分表：**

分表的意思是在一个库里面进行表拆分，很常见的就是日志表了，分表的规则有按天的、也有按月的。

![674_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259][]

这种分表技术是早期的技术了，现在基本没这样做了，在某些特殊的场景下面可能会出现。而且这样的分表技术一般都是通过代码来进行的，需要自己开发，很少有第三方集成好的。

**分库：**

分库和分表就不一样了，分表是所有数据都在一个库里面，分库则不同，不同的库存放的表都是一样的。

![672_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259][]

这种方式有点类似Mysql的主从数据库，主库和从库的数据都是一样的。在数据量大的情况下，查询速度还是会特别慢，因为每一个库表的数据量是一样的。

**分库分表：**

整合上面两种方式的特点，就出现了第三种方式：分库分表，分库的同时进行分表。

![675_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259][]

分库分表的特点就是如上图所示，每一个库中表都存一部分的数据，这样表不管有多大，我们都可以通过增加库来负载这个数据量。这边需要注意的是，数据添加和获取都需要遵守一定的规则，常见的有散列、取模、范围区间等等。我们可以通过一个第三方的框架来实现这个功能，比如mycat。

![678_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259][]

**分库分表缺点：**

采用分库分表方式有一个缺点，如果我们仅仅是查询某一个数据，可以很快速的确定某一个库，然后查询返回数据。但是如果做数据统计，这个时候效率就会慢的惊人。因为统计的话，需要一个一个库里面去遍历，在数据量大的情况下，还不如一个表里面数据查询好。这边的解决方案是将数据汇总到一个仓库中，在这个仓库中进行统计，仓库如果不是海量数据的情况下，可以用es来做，是海量数据可以升级为大数据。

![677_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259][]

**高可用：**

统计的问题解决了，后期要做的就是如何实现高可用，这边的高可用指的是，尽可能保证数据库可用。这边我们首先要做的就是每一个库都做一个从库，如果主库出现问题，从库可以马上接替主库，还可以做读写分离，增加数据库的负载量。

![676_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259][]

到这一步之后，我们这个体系的瓶颈就跑到mycat这边了，如果mycat挂了，那所有的库都无法访问了，这显然是无法忍受的，所以我们mycat也是需要高可用的，启动多个mycat，通过框架进行负载均衡即可。

![673_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259][]

**总结：**

架构升级都是一步一步来的，在用户量小的情况下，没必要一下子就部署高可用版本的方案，资源利用不到本身就是一种浪费。一般前期分库分表，统计和高可用的方案在数据量小的情况下可以不采用，后期升级的时候加上去就可以了。好了今天的内容就介绍到这边了，谢谢大家的阅读～

**要更多干货、技术猛料的孩子，快点拿起手机扫码关注我，我在这里等你哦~**

![70][]

[674_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259]: https://note.youdao.com/yws/api/group/76450073/noteresource/9C52DAA3CA434B4D94651AE36DBF6765/version/674?method=get-resource&shareToken=AAE37E7487AF4C0AA1C5F708537695A3&entryId=209755259
[672_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259]: https://note.youdao.com/yws/api/group/76450073/noteresource/A55D9BD98BB6475A91E04248AA5D9B50/version/672?method=get-resource&shareToken=AAE37E7487AF4C0AA1C5F708537695A3&entryId=209755259
[675_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259]: https://note.youdao.com/yws/api/group/76450073/noteresource/9909BD00C3E04B9E8B1623FD35E53B49/version/675?method=get-resource&shareToken=AAE37E7487AF4C0AA1C5F708537695A3&entryId=209755259
[678_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259]: https://note.youdao.com/yws/api/group/76450073/noteresource/F19A458A04464E7F9C1022C0732654E5/version/678?method=get-resource&shareToken=AAE37E7487AF4C0AA1C5F708537695A3&entryId=209755259
[677_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259]: https://note.youdao.com/yws/api/group/76450073/noteresource/ACA1115879F44C968140275877BBAD7C/version/677?method=get-resource&shareToken=AAE37E7487AF4C0AA1C5F708537695A3&entryId=209755259
[676_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259]: https://note.youdao.com/yws/api/group/76450073/noteresource/650D58C162E64776BD3A7BA180C8A53A/version/676?method=get-resource&shareToken=AAE37E7487AF4C0AA1C5F708537695A3&entryId=209755259
[673_method_get-resource_shareToken_AAE37E7487AF4C0AA1C5F708537695A3_entryId_209755259]: https://note.youdao.com/yws/api/group/76450073/noteresource/203B7A62780F43E596B4C3E02201C6C3/version/673?method=get-resource&shareToken=AAE37E7487AF4C0AA1C5F708537695A3&entryId=209755259
[70]: /images/20220511/9963afc3c73a40139dcae3d670775734.png