分库分表 vs NewSQL 数据库

冷不防 2022-10-06 03:52 172阅读 0赞

点击上方“程序猿技术大咖”，关注并选择“设为星标”

回复“加群”获取入群讨论资格！

最近与同行科技交流，经常被问到分库分表与分布式数据库如何选择，网上也有很多关于中间件+传统关系数据库（分库分表）与 NewSQL 分布式数据库的文章，但有些观点与判断是我觉得是偏激的，脱离环境去评价方案好坏其实有失公允。

本文通过对两种模式关键特性实现原理对比，希望可以尽可能客观、中立的阐明各自真实的优缺点以及适用场景。

## **NewSQL 数据库先进在哪儿？** ##

首先关于“中间件+关系数据库分库分表”算不算 NewSQL 分布式数据库问题，国外有篇论文 pavlo-newsql-sigmodrec，如果根据该文中的分类，Spanner、TiDB、OB 算是第一种新架构型，Sharding-Sphere、Mycat、DRDS 等中间件方案算是第二种（文中还有第三种云数据库，本文暂不详细介绍）。基于中间件（包括 SDK 和 Proxy 两种形式）+传统关系数据库（分库分表）模式是不是分布式架构？我觉得是的，因为存储确实也分布式了，也能实现横向扩展。但是不是"伪"分布式数据库？从架构先进性来看，这么说也有一定道理。"伪"主要体现在中间件层与底层 DB 重复的 SQL 解析与执行计划生成、存储引擎基于 B+Tree 等，这在分布式数据库架构中实际上冗余低效的。为了避免引起真伪分布式数据库的口水战，本文中 NewSQL 数据库特指这种新架构 NewSQL 数据库。

NewSQL 数据库相比中间件+分库分表的先进在哪儿？画一个简单的架构对比图：

![a5b66f9aead4ae2f8acd631d8a0bc685.png][]

1.  传统数据库面向磁盘设计，基于内存的存储管理及并发控制，不如 NewSQL 数据库那般高效利用。
2.  中间件模式 SQL 解析、执行计划优化等在中间件与数据库中重复工作，效率相比较低；
3.  NewSQL 数据库的分布式事务相比于 XA 进行了优化，性能更高；
4.  新架构 NewSQL 数据库存储设计即为基于 paxos（或 Raft）协议的多副本，相比于传统数据库主从模式（半同步转异步后也存在丢数问题），在实现了真正的高可用、高可靠（RTO<30s，RPO=0）
5.  NewSQL 数据库天生支持数据分片，数据的迁移、扩容都是自动化的，大大减轻了 DBA 的工作，同时对应用透明，无需在 SQL 指定分库分表键。

这些大多也是 NewSQL 数据库产品主要宣传的点，不过这些看起来很美好的功能是否真的如此？接下来针对以上几点分别阐述下的我的理解。

## **分布式事务** ##

这是把双刃剑。

### **CAP 限制** ###

想想更早些出现的 NoSQL 数据库为何不支持分布式事务（最新版的 mongoDB 等也开始支持了），是缺乏理论与实践支撑吗？并不是，原因是 CAP 定理依然是分布式数据库头上的颈箍咒，在保证强一致的同时必然会牺牲可用性 A 或分区容忍性 P。为什么大部分 NoSQL 不提供分布式事务？

那么 NewSQL 数据库突破 CAP 定理限制了吗？并没有。NewSQL 数据库的鼻主 Google Spanner（目前绝大部分分布式数据库都是按照 Spanner 架构设计的）提供了一致性和大于 5 个 9 的可用性，宣称是一个“实际上是 CA”的，其真正的含义是系统处于 CA 状态的概率非常高，由于网络分区导致的服务停用的概率非常小 ，究其真正原因是其打造私有全球网保证了不会出现网络中断引发的网络分区，另外就是其高效的运维队伍,这也是 cloud spanner 的卖点。详细可见 CAP 提出者 Eric Brewer 写的《Spanner, TrueTime 和 CAP 理论》。

> 推荐一篇关于分布式系统有趣的文章，站在巨人的分布式肩膀上，其中提到：分布式系统中，您可以知道工作在哪里，或者您可以知道工作何时完成，但您无法同时了解两者；两阶段协议本质上是反可用性协议。

###     ###

### **完备性** ###

两阶段提交协议是否严格支持 ACID，各种异常场景是不是都可以覆盖？2PC 在 commit 阶段发送异常，其实跟最大努力一阶段提交类似也会有部分可见问题，严格讲一段时间内并不能保证 A 原子性和 C 一致性（待故障恢复后 recovery 机制可以保证最终的 A 和 C）。完备的分布式事务支持并不是一件简单的事情，需要可以应对网络以及各种硬件包括网卡、磁盘、CPU、内存、电源等各类异常，通过严格的测试。之前跟某友商交流，他们甚至说目前已知的 NewSQL 在分布式事务支持上都是不完整的，他们都有案例跑不过，圈内人士这么笃定，也说明了分布式事务的支持完整程度其实是层次不齐的。

但分布式事务又是这些 NewSQL 数据库的一个非常重要的底层机制，跨资源的 DML、DDL 等都依赖其实现，如果这块的性能、完备性打折扣，上层跨分片 SQL 执行的正确性会受到很大影响。

### **性能** ###

传统关系数据库也支持分布式事务 XA，但为何很少有高并发场景下用呢？因为 XA 的基础两阶段提交协议存在网络开销大，阻塞时间长、死锁等问题，这也导致了其实际上很少大规模用在基于传统关系数据库的 OLTP 系统中。NewSQL 数据库的分布式事务实现也仍然多基于两阶段提交协议，例如 google percolator 分布式事务模型， 采用原子钟+MVCC+ Snapshot Isolation（SI），这种方式通过 TSO(Timestamp Oracle)保证了全局一致性，通过 MVCC 避免了锁，另外通过 primary lock 和 secondary lock 将提交的一部分转为异步，相比 XA 确实提高了分布式事务的性能。

> SI 是乐观锁，在热点数据场景，可能会大量的提交失败。另外 SI 的隔离级别与 RR 并非完全相同，它不会有幻想读，但会有写倾斜。

但不管如何优化，相比于 1PC，2PC 多出来的 GID 获取、网络开销、prepare 日志持久化还是会带来很大的性能损失，尤其是跨节点的数量比较多时会更加显著，例如在银行场景做个批量扣款，一个文件可能上 W 个账户，这样的场景无论怎么做还是吞吐都不会很高。

> Spanner 给出的分布式事务测试数据

![9db5b809cbae544bc6cc9360907d9c4f.png][]

虽然 NewSQL 分布式数据库产品都宣传完备支持分布式事务，但这并不是说应用可以完全不用关心数据拆分，这些数据库的最佳实践中仍然会写到，应用的大部分场景尽可能避免分布式事务。

既然强一致事务付出的性能代价太大，我们可以反思下是否真的需要这种强一致的分布式事务？尤其是在做微服务拆分后，很多系统也不太可能放在一个统一的数据库中。尝试将一致性要求弱化，便是柔性事务，放弃 ACID(Atomicity,Consistency, Isolation, Durability)，转投 BASE(Basically Available,Soft state,Eventually consistent)，例如 Saga、TCC、可靠消息保证最终一致等模型，对于大规模高并发 OLTP 场景，我个人更建议使用柔性事务而非强一致的分布式事务。关于柔性事务，笔者之前也写过一个技术组件，最近几年也涌现出了一些新的模型与框架（例如阿里刚开源的 Fescar），限于篇幅不再赘述，有空再单独写篇文章。

> 解决分布式事务是否只能用两阶段提交协议？oceanbase1.0 中通过 updateserver 避免分布式事务的思路很有启发性 ，不过 2.0 版后也变成了 2PC。业界分布式事务也并非只有两阶段提交这一解，也有其它方案 its-time-to-move-on-from-two-phase(如果打不开，国内有翻译版 www.jdon.com/51588)

##     ##

## **HA 与异地多活** ##

主从模式并不是最优的方式，就算是半同步复制，在极端情况下（半同步转异步）也存在丢数问题，目前业界公认更好的方案是基于 paxos 分布式一致性协议或者其它类 paxos 如 raft 方式，Google Spanner、TiDB、cockcoachDB、OB 都采用了这种方式，基于 Paxos 协议的多副本存储，遵循过半写原则，支持自动选主，解决了数据的高可靠，缩短了 failover 时间，提高了可用性，特别是减少了运维的工作量，这种方案技术上已经很成熟，也是 NewSQL 数据库底层的标配。当然这种方式其实也可以用在传统关系数据库，阿里、微信团队等也有将 MySQL 存储改造支持 paxos 多副本的，MySQL 也推出了官方版 MySQL Group Cluster，预计不远的未来主从模式可能就成为历史了。

> 分布式一致性算法本身并不难，但具体在工程实践时，需要考虑很多异常并做很多优化，实现一个生产级可靠成熟的一致性协议并不容易。例如实际使用时必须转化实现为 multi-paxos 或 multi-raft，需要通过 batch、异步等方式减少网络、磁盘 IO 等开销。

需要注意的是很多 NewSQL 数据库厂商宣传基于 paxos 或 raft 协议可以实现【异地多活】，这个实际上是有前提的，那就是异地之间网络延迟不能太高。以银行“两地三中心”为例，异地之间多相隔数千里，延时达到数十毫秒，如果要多活，那便需异地副本也参与数据库日志过半确认，这样高的延时几乎没有 OLTP 系统可以接受的。

数据库层面做异地多活是个美好的愿景，但距离导致的延时目前并没有好的方案。之前跟蚂蚁团队交流，蚂蚁异地多活的方案是在应用层通过 MQ 同步双写交易信息，异地 DC 将交易信息保存在分布式缓存中，一旦发生异地切换，数据库同步中间件会告之数据延迟时间，应用从缓存中读取交易信息，将这段时间内涉及到的业务对象例如用户、账户进行黑名单管理，等数据同步追上之后再将这些业务对象从黑名单中剔除。由于双写的不是所有数据库操作日志而只是交易信息，数据延迟只影响一段时间内数据，这是目前我觉得比较靠谱的异地度多活方案。

另外有些系统进行了单元化改造，这在 paxos 选主时也要结合考虑进去，这也是目前很多 NewSQL 数据库欠缺的功能。

## **Scale 横向扩展与分片机制** ##

paxos 算法解决了高可用、高可靠问题，并没有解决 Scale 横向扩展的问题，所以分片是必须支持的。NewSQL 数据库都是天生内置分片机制的，而且会根据每个分片的数据负载(磁盘使用率、写入速度等)自动识别热点，然后进行分片的分裂、数据迁移、合并，这些过程应用是无感知的，这省去了 DBA 的很多运维工作量。以 TiDB 为例，它将数据切成 region，如果 region 到 64M 时，数据自动进行迁移。

分库分表模式下需要应用设计之初就要明确各表的拆分键、拆分方式（range、取模、一致性哈希或者自定义路由表）、路由规则、拆分库表数量、扩容方式等。相比 NewSQL 数据库，这种模式给应用带来了很大侵入和复杂度，这对大多数系统来说也是一大挑战。

> 分库分表模式也能做到在线扩容，基本思路是通过异步复制先追加数据，然后设置只读完成路由切换，最后放开写操作，当然这些需要中间件与数据库端配合一起才能完成。

这里有个问题是 NewSQL 数据库统一的内置分片策略（例如 tidb 基于 range）可能并不是最高效的，因为与领域模型中的划分要素并不一致，这导致的后果是很多交易会产生分布式事务。举个例子，银行核心业务系统是以客户为维度，也就是说客户表、该客户的账户表、流水表在绝大部分场景下是一起写的，但如果按照各表主键 range 进行分片，这个交易并不能在一个分片上完成，这在高频 OLTP 系统中会带来性能问题。

## **分布式 SQL 支持** ##

常见的单分片 SQL，这两者都能很好支持。NewSQL 数据库由于定位与目标是一个通用的数据库，所以支持的 SQL 会更完整，包括跨分片的 join、聚合等复杂 SQL。中间件模式多面向应用需求设计，不过大部分也支持带拆分键 SQL、库表遍历、单库 join、聚合、排序、分页等。但对跨库的 join 以及聚合支持就不够了。

NewSQL 数据库一般并不支持存储过程、视图、外键等功能，而中间件模式底层就是传统关系数据库，这些功能如果只是涉及单库是比较容易支持的。NewSQL 数据库往往选择兼容 MySQL 或者 PostgreSQL 协议，所以 SQL 支持仅局限于这两种，中间件例如驱动模式往往只需做简单的 SQL 解析、计算路由、SQL 重写，所以可以支持更多种类的数据库 SQL。

SQL 支持的差异主要在于分布式 SQL 执行计划生成器，由于 NewSQL 数据库具有底层数据的分布、统计信息，因此可以做 CBO，生成的执行计划效率更高，而中间件模式下没有这些信息，往往只能基于规则 RBO（Rule-Based-Opimization），这也是为什么中间件模式一般并不支持跨库 join，因为实现了效率也往往并不高，还不如交给应用去做。

> 这里也可以看出中间件+分库分表模式的架构风格体现出的是一种妥协、平衡，它是一个面向应用型的设计；而 NewSQL 数据库则要求更高、“大包大揽”，它是一个通用底层技术软件，因此后者的复杂度、技术门槛也高很多。

##     ##

## **存储引擎** ##

传统关系数据库的存储引擎设计都是面向磁盘的，大多都基于 B+树。B+树通过降低树的高度减少随机读、进而减少磁盘寻道次数，提高读的性能，但大量的随机写会导致树的分裂，从而带来随机写，导致写性能下降。NewSQL 的底层存储引擎则多采用 LSM，相比 B+树 LSM 将对磁盘的随机写变成顺序写，大大提高了写的性能。不过 LSM 的的读由于需要合并数据性能比 B+树差，一般来说 LSM 更适合应在写大于读的场景。当然这只是单纯数据结构角度的对比，在数据库实际实现时还会通过 SSD、缓冲、bloom filter 等方式优化读写性能，所以读性能基本不会下降太多。NewSQL 数据由于多副本、分布式事务等开销，相比单机关系数据库 SQL 的响应时间并不占优，但由于集群的弹性扩展，整体 QPS 提升还是很明显的，这也是 NewSQL 数据库厂商说分布式数据库更看重的是吞吐，而不是单笔 SQL 响应时间的原因。

## **成熟度与生态** ##

分布式数据库是个新型通用底层软件，准确的衡量与评价需要一个多维度的测试模型，需包括发展现状、使用情况、社区生态、监控运维、周边配套工具、功能满足度、DBA 人才、SQL 兼容性、性能测试、高可用测试、在线扩容、分布式事务、隔离级别、在线 DDL 等等，虽然 NewSQL 数据库发展经过了一定时间检验，但多集中在互联网以及传统企业非核心交易系统中，目前还处于快速迭代、规模使用不断优化完善的阶段。相比而言，传统关系数据库则经过了多年的发展，通过完整的评测，在成熟度、功能、性能、周边生态、风险把控、相关人才积累等多方面都具有明显优势，同时对已建系统的兼容性也更好。对于互联网公司，数据量的增长压力以及追求新技术的基因会更倾向于尝试 NewSQL 数据库，不用再考虑库表拆分、应用改造、扩容、事务一致性等问题怎么看都是非常吸引人的方案。对于传统企业例如银行这种风险意识较高的行业来说，NewSQL 数据库则可能在未来一段时间内仍处于探索、审慎试点的阶段。基于中间件+分库分表模式架构简单，技术门槛更低，虽然没有 NewSQL 数据库功能全面，但大部分场景最核心的诉求也就是拆分后 SQL 的正确路由，而此功能中间件模式应对还是绰绰有余的，可以说在大多数 OLTP 场景是够用的。

*限于篇幅，其它特性例如在线 DDL、数据迁移、运维工具等特性就不在本文展开对比。*

## **总结** ##

如果看完以上内容，您还不知道选哪种模式，那么结合以下几个问题，先思考下 NewSQL 数据库解决的点对于自身是不是真正的痛点：

*  强一致事务是否必须在数据库层解决？
 *  数据的增长速度是否不可预估的？
 *  扩容的频率是否已超出了自身运维能力？
 *  相比响应时间更看重吞吐？
 *  是否必须做到对应用完全透明？
 *  是否有熟悉 NewSQL 数据库的 DBA 团队？

如果以上有 2 到 3 个是肯定的，那么你可以考虑用 NewSQL 数据库了，虽然前期可能需要一定的学习成本，但它是数据库的发展方向，未来收益也会更高，尤其是互联网行业，随着数据量的突飞猛进，分库分表带来的痛苦会与日俱增。当然选择 NewSQL 数据库你也要做好承担一定风险的准备。如果你还未做出抉择，不妨再想想下面几个问题：

*  最终一致性是否可以满足实际场景？
 *  数据未来几年的总量是否可以预估？
 *  扩容、DDL 等操作是否有系统维护窗口？
 *  对响应时间是否比吞吐更敏感？
 *  是否需要兼容已有的关系数据库系统？
 *  是否已有传统数据库 DBA 人才的积累？
 *  是否可容忍分库分表对应用的侵入？

如果这些问题有多数是肯定的，那还是分库分表吧。在软件领域很少有完美的解决方案，NewSQL 数据库也不是数据分布式架构的银弹。相比而言分库分表是一个代价更低、风险更小的方案，它最大程度复用传统关系数据库生态，通过中间件也可以满足分库分表后的绝大多数功能，定制化能力更强。在当前 NewSQL 数据库还未完全成熟的阶段，分库分表可以说是一个上限低但下限高的方案，尤其传统行业的核心系统，如果你仍然打算把数据库当做一个黑盒产品来用，踏踏实实用好分库分表会被认为是个稳妥的选择。

*很多时候软件选型取决于领域特征以及架构师风格，限于笔者知识与所属行业特点所限，以上仅为个人粗浅的一些观点，欢迎讨论。*

--------------------

感谢您的阅读，也欢迎您发表关于这篇文章的任何建议，关注我，技术不迷茫！

![03703c1adb10c04c4d74f7e7c11637f5.gif][]

*  [JDK1.8新特性(四)：函数式接口][JDK1.8]
 *  [微服务拆分之道][Link 1]
 *  [构建基于Spring Cloud向Service Mesh框架迁移的解决方案及思路][Spring Cloud_Service Mesh]  
    
 *  [MySQL性能优化(七)：MySQL执行计划，真的很重要，来一起学习吧][MySQL_MySQL]
 *  [微服务架构下的核心话题 (三)：微服务架构的技术选型][Link 2]

![8b22626c876f12f597776a15113d55b6.gif][]

喜欢就点个"在看"呗，留言、转发朋友圈

[a5b66f9aead4ae2f8acd631d8a0bc685.png]: /images/20221005/a376ba159c2e4f0c9a90c703f973cf24.png
[9db5b809cbae544bc6cc9360907d9c4f.png]: /images/20221005/bce4d7811b4544fdae25590a7f452fdb.png
[03703c1adb10c04c4d74f7e7c11637f5.gif]: /images/20221005/85eedc80c8724424a0e2737d0cea4fdc.png
[JDK1.8]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d88fba72a01ed52ba7e5403ba39bbb4386bd23a7906db45d831311c7216ecbd5a7efeff8d&idx=1&mid=2247485857&scene=21&sn=be80b248bcc6c080755953219a1f2b78#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d991aa72a100ce91b523f7090c53dc70edadac9616850352a1536968e166f1df9604febb6&idx=1&mid=2247489600&scene=21&sn=6c6543bde2c5e3f6b5be2dbef7e0192c#wechat_redirect
[Spring Cloud_Service Mesh]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d965aa72a1f4c47fda22ca46b5a582c4c691c68687d3e6d7b75eb0fb676d4c10a5b2b426a&idx=1&mid=2247489280&scene=21&sn=09dedd0603d8cae3e5c995c2ae57f567#wechat_redirect
[MySQL_MySQL]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d8838a72a012e057b5671b8a429c1dacbfcd15bc480ee020c59a1f636e906fcd5edca659d&idx=1&mid=2247485794&scene=21&sn=cef01641815309e84aa2fbbd692bf5b4#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d8970a72a00662feffcea58c746fa0098b98a6a92af9dfd9490b7a84cab6b432c9f4ec831&idx=1&mid=2247485482&scene=21&sn=e6385ef8cc1cf13c8f17a6e29de238b6#wechat_redirect
[8b22626c876f12f597776a15113d55b6.gif]: /images/20221005/4eee2e2eb68a4ace8c17e8f8ddd764c9.png