数据库（分库分表）中间件对比

绝地灬酷狼 2022-02-26 05:11 542阅读 0赞

目前数据库中间件有很多，整理一下各种中间件优缺点及使用场景，方便以后查看，希望可以对大家有帮助。

## 1. 什么是中间件 ##

传统的架构模式就是 应用连接数据库直接对数据进行访问，这种架构特点就是简单方便。

但是随着目前数据量不断的增大我们就遇到了问题:

*  单个表数据量太大
 *  单个库数据量太大
 *  单台数据量服务器压力很大
 *  读写速度遇到瓶颈

当面临以上问题时，我们会想到的第一种解决方式就是 *向上扩展(SCALE UP)* 简单来说就是不断增加硬件性能。这种方式只能暂时解决问题，当业务量不断增长时还是解决不了问题。特别是淘宝，facebook，youtube这种业务成线性，甚至指数级上升的情况

此时我们不得不依赖于第二种方式： *水平扩展*。 直接增加机器，把数据库放到不同服务器上，在应用到数据库之间加一个proxy进行路由，这样就可以解决上面的问题了。

## 2. 中间件与读写分离 ##

很多人都会把中间件认为是读写分离，其实读写分离只是中间件可以提供的一种功能，最主要的功能还是在于他可以*分库分表*，下面是一个读写分离的示意图：

![读写分离][53260788gw1exmsahnebuj21280fk3zs.jpg]

上面的图可以看出，红线代表写请求，绿线代表读请求。这就是一个简单的读写分离，下面我们在看看分库分表中间件。

![proxy][]

上面这幅图就可以看出中间件作用，比如下面的这个SQL：

select * from table_name where id = 1;

按照中间件分库分表算法，此SQL将发送到DB1节点，由DB1这个MySQL负责解析和获取id=1的数据，并通过中间件返回给客户端。而在读写分离结构中并没有这些分库分表规则，*他只能在众多读节点中LOAD BALANCE随机进行分发，它要求各个节点都要存放一份完整的数据。*

## 3.各类中间件比较 ##

目前市面上中间件种类很多种 先看下各种中间件背景:

![各种中间件背景][53260788gw1ey3qj1hk1kj211a0lsjwi.jpg]

![751090-20170629154540618-1967334102.jpg][]

**COBAR:**

阿里巴巴B2B开发的关系型分布式系统，始于2008年，在阿里服役3年多，管理将近3000个MySQL实例，集群日处理在线SQL请求50亿次以上。 在阿里经受住了考验，后面由于作者的走开的原因cobar没有人维护 了，阿里也开发了tddl替代cobar。

它可以让传统的数据库得到良好的线性扩展，并看上去还是一个数据库，对应用保持透明。

Cobar以Proxy的形式位于前台应用和实际数据库之间，对前台的开放的接口是MySQL通信协议，将前台SQL语句变更并按照数据分布规则发到合适的后台数据分库，再合并返回结果，模拟单库下的数据库行为。

Cobar属于中间层方案，在应用程序和MySQL之间搭建一层Proxy。中间层介于应用程序与数据库间，需要做一次转发，而基于JDBC协议并无额外转发，直接由应用程序连接数据库，

性能上有些许优势。这里并非说明中间层一定不如客户端直连，除了性能，需要考虑的因素还有很多，中间层更便于实现监控、数据迁移、连接管理等功能。

**MYCAT:**

社区爱好者在阿里cobar基础上进行二次开发，解决了cobar当时存 在的一些问题，并且加入了许多新的功能在其中。目前MyCAT社区活 跃度很高，目前已经有一些公司在使用MyCAT。总体来说支持度比较高，也会一直维护下去，发展到目前的版本，已经不是一个单纯的MySQL代理了，

它的后端可以支持MySQL, SQL Server, Oracle, [DB2][], PostgreSQL等主流数据库，也支持MongoDB这种新型NoSQL方式的存储，未来还会支持更多类型的存储。

结构

![779392-20170530161709977-1045718215.jpg][]

原理

拦截：分片分析、路由分析、读写分离分析、缓存分析

![779392-20170530163505602-255316400.jpg][]

MyCAT是一个强大的数据库中间件，不仅仅可以用作读写分离，以及分表分库、容灾管理，而且可以用于多租户应用开发、云平台基础设施，让你的架构具备很强的适应性和灵活性，

借助于即将发布的MyCAT只能优化模块，系统的数据访问瓶颈和热点一目了然，根据这些统计分析数据，你可以自动或手工调整后端存储，将不同的表隐射到不同存储引擎上，而整个应用的代码一行也不用改变。

MyCAT是在Cobar基础上发展的版本，两个显著提高：后端由BIO改为NIO，并发量有大幅提高； 增加了对Order By, Group By, Limit等聚合功能

（虽然Cobar也可以支持Order By, Group By, Limit语法，但是结果没有进行聚合，只是简单返回给前端，聚合功能还是需要业务系统自己完成）

**TDDL:**

TDDL是Tabao根据自己的业务特点开发了(Tabao Distributed Data Layer, 外号：头都大了)。主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制，

它是一个基于集中式配置的jdbc datasourcce实现，具有主备，读写分离，动态数据库配置等功能。

TDDL并非独立的中间件，只能算作中间层，处于业务层和JDBC层中间，是以Jar包方式提供给应用调用，属于JDBC Shard的思想。

TDDL源码：[https://github.com/alibaba/tb\_tddl][https_github.com_alibaba_tb_tddl]   
TDDL复杂度相对较高。当前公布的文档较少，只开源动态数据源，分表分库部分还未开源，还需要依赖diamond，不推荐使用。

**DRDS:**

DRDS是阿里巴巴自主研发的分布式数据库服务（此项目不开源）,DRDS脱胎于阿里巴巴开源的Cobar分布式数据库引擎，吸收了Cobar核心的Cobar-Proxy[源码][Link 1]，

实现了一套独立的类似MySQL-Proxy协议的解析端，能够对传入的SQL进行解析和处理，对应用程序屏蔽各种复杂的底层DB拓扑结构，获得单机数据库一样的使用体验，

同时借鉴了淘宝TDDL丰富的分布式数据库实践经验，实现了对分布式Join支持，SUM/MAX/COUNT/AVG等聚合函数支持以及排序等函数支持，

通过异构索引、小表广播等解决分布式数据库使用场景下衍生出的一系列问题，最终形成了完整的分布式数据库方案。

**ONEPROXY:**

数据库界大牛，前支付宝数据库团队领导楼总开发，基于mysql官方 的proxy思想利用c进行开发的，OneProxy是一款商业收费的中间件， 楼总舍去了一些功能点，专注在性能和稳定性上。有朋友测试过说在 高并发下很稳定。

**VITESS:**

这个中间件是Youtube生产在使用的，但是架构很复杂。 与以往中间件不同，使用Vitess应用改动比较大要 使用他提供语言的API接口，我们可以借鉴他其中的一些设计思想。

**KINGSHARD:**

Kingshard是前360Atlas中间件开发团队的陈菲利用业务时间 用go语言开发的，目前参与开发的人员有3个左右， 目前来看还不是成熟可以使用的产品，需要在不断完善。

**ATLAS:**

Atlas是一个位于应用程序与MySQL之间的*基于MySQL协议的数据中间层项目*，*它是在mysql-proxy 0.8.2版本上对其进行优化，360团队基于mysql proxy 把lua用C改写，*

它实现了MySQL的客户端和服务端协议，作为服务端与应用程序通讯，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节。

Altas不能实现分布式分表，所有的字表必须在同一台DB的同一个DataBase里且所有的字表必须实现建好，Altas没有自动建表的功能。

原有版本是不支持分库分表， 目前已经放出了分库分表版本。在网上看到一些朋友经常说在高并 发下会经常挂掉，如果大家要使用需要提前做好测试。

**DBProxy:**

DBProxy是美团点评DBA团队针对公司内部需求，在奇虎360公司开源的Atlas做了很多改进工作，形成了新的高可靠、高可用企业级数据库中间件

其特性主要有：读写分离、负载均衡、支持分表、IP过滤、sql语句黑名单、DBA平滑下线DB、从库流量配置、动态加载配置项

项目的Github地址是[https://github.com/Meituan-Dianping/DBProxy][https_github.com_Meituan-Dianping_DBProxy]

**sharding-JDBC:**

sharding-JDBC是当当应用框架ddframe中，从关系型数据库模块dd-rdb中分离出来的数据库水平分片框架，实现透明化数据库分库分表访问。

![779392-20170530164226664-185935851.png][]

Sharding-JDBC是继dubbox和elastic-job之后，ddframe系列开源的第3个项目。

Sharding-JDBC直接封装JDBC API，可以理解为增强版的JDBC驱动，旧代码迁移成本几乎为零：

*  可适用于任何基于Java的ORM框架，如JPA、Hibernate、Mybatis、Spring JDBC Template或直接使用JDBC。
 *  可基于任何第三方的数据库连接池，如DBCP、C3P0、 BoneCP、Druid等。
 *  理论上可支持任意实现JDBC规范的数据库。虽然目前仅支持MySQL，但已有支持Oracle、SQLServer等数据库的计划。

Sharding-JDBC定位为轻量Java框架，使用客户端直连数据库，以jar包形式提供服务，无proxy代理层，无需额外部署，无其他依赖，DBA也无需改变原有的运维方式。

Sharding-JDBC分片策略灵活，可支持等号、between、in等多维度分片，也可支持多分片键。

SQL解析功能完善，支持聚合、分组、排序、limit、or等查询，并支持Binding Table以及笛卡尔积表查询。

**MAXSCALE与MYSQL ROUTE:**

这两个中间件都算是官方的吧，MaxScale是mariadb (MySQL原作者维护的一个版本)研发的，目前版本不支持分库分表。

MySQL Route是现在MySQL 官方Oracle公司发布出来的一个中间件。

[53260788gw1exmsahnebuj21280fk3zs.jpg]: /images/20220226/18e4988091e14dcf99142cca60cb5943.png
[proxy]: /images/20220226/2b0c5f98bc2548aca9c90070f3ff655a.png
[53260788gw1ey3qj1hk1kj211a0lsjwi.jpg]: /images/20220226/14959e72893940e5a5799dd54b5879ed.png
[751090-20170629154540618-1967334102.jpg]: /images/20220226/aaf01e07982f4b4ea47703c9f506d486.png
[DB2]: http://www.2cto.com/database/DB2/
[779392-20170530161709977-1045718215.jpg]: /images/20220226/714bb2f684fd4030b80d7dd7547903bf.png
[779392-20170530163505602-255316400.jpg]: /images/20220226/dc02f245b29b46a4b9c0d37abde2193a.png
[https_github.com_alibaba_tb_tddl]: https://github.com/alibaba/tb_tddl
[Link 1]: http://www.2cto.com/ym/
[https_github.com_Meituan-Dianping_DBProxy]: https://github.com/Meituan-Dianping/DBProxy
[779392-20170530164226664-185935851.png]: /images/20220226/f826bd68a41b48f89ed320d77ed97304.png