数据库水平拆分解决方案

亦凉 2021-11-09 04:08 358阅读 0赞

### 水平拆分解决方案 ###

*  客户端架构
 *   *  客户端架构的优点
     *  客户端架构的缺点
 *  代理架构
 *   *  代理架构的优点
     *  代理架构的缺点
 *  现有方案对比

由于水平拆分牵涉的逻辑比较复杂，当前也有了不少比较成熟的解决方案。这些方案分为两大类：客户端架构和代理架构。

# 客户端架构 #

客户端架构通过修改数据访问层，如JDBC、Data Source、MyBatis，通过配置来管理多个数据源，直连数据库，并在模块内完成数据的分片整合，一般以jar包的方式呈现

这是一个客户端架构的例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_SnVzdGluTmVpbA_size_16_color_FFFFFF_t_70]  
可以看到分片的实现是和应用服务器在一起的，通过修改Spring JDBC层来实现的

## 客户端架构的优点 ##

应用直连数据库，降低外围系统依赖所带来的宕机风险  
集成成本低，无需额外运维的组件

## 客户端架构的缺点 ##

限于只能在数据库访问层上做文章，扩展性一般，对于比较复杂的系统可能会力不从心  
将分片逻辑的压力放在应用服务器上，造成额外风险

# 代理架构 #

通过独立的中间件来统一管理所有数据源和数据分片整合，后端数据库集群对前端应用程序透明，需要独立部署和运维代理组件  
这是一个代理架构的例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_SnVzdGluTmVpbA_size_16_color_FFFFFF_t_70 1]  
代理组件为了分流和防止单点，一般以集群形式存在，同时可能需要Zookeeper之类的服务组件来管理

## 代理架构的优点 ##

能够处理非常复杂的需求，不受数据库访问层原来实现的限制，扩展性强  
对于应用服务器透明且没有增加任何额外负载

## 代理架构的缺点 ##

需部署和运维独立的代理中间件，成本高  
应用需经过代理来连接数据库，网络上多了一环，性能有损失且有额外风险

# 现有方案对比 #

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>出品方</th> 
   <th>架构模型</th> 
   <th>支持数据库</th> 
   <th>分库</th> 
   <th>分表</th> 
   <th>读写分离</th> 
   <th>外部依赖</th> 
   <th>是否开源</th> 
   <th>实现语言</th> 
   <th>支持语言</th> 
   <th>最后更新</th> 
   <th>Github星数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>MySQL Fabric</td> 
   <td>MySQL官方</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>是</td> 
   <td>python</td> 
   <td>无限制</td> 
   <td>4个月前</td> 
   <td>35</td> 
  </tr> 
  <tr> 
   <td>Cobar</td> 
   <td>阿里巴巴</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>无</td> 
   <td>无</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Java</td> 
   <td>无限制</td> 
   <td>两年前</td> 
   <td>1287</td> 
  </tr> 
  <tr> 
   <td>Cobar Client</td> 
   <td>阿里巴巴</td> 
   <td>客户端架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>无</td> 
   <td>无</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Java</td> 
   <td>Java</td> 
   <td>三年前</td> 
   <td>344</td> 
  </tr> 
  <tr> 
   <td>TDDL</td> 
   <td>淘宝</td> 
   <td>客户端架构</td> 
   <td>无限制</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>Diamond</td> 
   <td>只开源部分</td> 
   <td>Java</td> 
   <td>Java</td> 
   <td>未知</td> 
   <td>519</td> 
  </tr> 
  <tr> 
   <td>Atlas</td> 
   <td>奇虎360</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>是</td> 
   <td>C</td> 
   <td>无限制</td> 
   <td>10个月前</td> 
   <td>1941</td> 
  </tr> 
  <tr> 
   <td>Heisenberg</td> 
   <td>百度熊照</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Java</td> 
   <td>无限制</td> 
   <td>2个月前</td> 
   <td>197</td> 
  </tr> 
  <tr> 
   <td>TribeDB</td> 
   <td>个人</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>是</td> 
   <td>NodeJS</td> 
   <td>无限制</td> 
   <td>3个月前</td> 
   <td>126</td> 
  </tr> 
  <tr> 
   <td>ShardingJDBC</td> 
   <td>当当</td> 
   <td>客户端架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Java</td> 
   <td>Java</td> 
   <td>当天</td> 
   <td>1144</td> 
  </tr> 
  <tr> 
   <td>Shark</td> 
   <td>个人</td> 
   <td>客户端架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Java</td> 
   <td>Java</td> 
   <td>两天前</td> 
   <td>84</td> 
  </tr> 
  <tr> 
   <td>KingShard</td> 
   <td>个人</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Golang</td> 
   <td>无限制</td> 
   <td>两天前</td> 
   <td>1836</td> 
  </tr> 
  <tr> 
   <td>OneProxy</td> 
   <td>平民软件</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>否</td> 
   <td>未知</td> 
   <td>无限制</td> 
   <td>未知</td> 
   <td>未知</td> 
  </tr> 
  <tr> 
   <td>MyCat</td> 
   <td>社区</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Java</td> 
   <td>无限制</td> 
   <td>两天前</td> 
   <td>1270</td> 
  </tr> 
  <tr> 
   <td>Vitess</td> 
   <td>Youtube</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Golang</td> 
   <td>无限制</td> 
   <td>当天</td> 
   <td>3636</td> 
  </tr> 
  <tr> 
   <td>Mixer</td> 
   <td>个人</td> 
   <td>代理架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Golang</td> 
   <td>无限制</td> 
   <td>9个月前</td> 
   <td>472</td> 
  </tr> 
  <tr> 
   <td>JetPants</td> 
   <td>Tumblr</td> 
   <td>客户端架构</td> 
   <td>MySQL</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Ruby</td> 
   <td>Ruby</td> 
   <td>10个月前</td> 
   <td>957</td> 
  </tr> 
  <tr> 
   <td>HibernateShard</td> 
   <td>Hibernate</td> 
   <td>客户端架构</td> 
   <td>无限制</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Java</td> 
   <td>Java</td> 
   <td>4年前</td> 
   <td>57</td> 
  </tr> 
  <tr> 
   <td>MybatisShard</td> 
   <td>MakerSoft</td> 
   <td>客户端架构</td> 
   <td>无限制</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Java</td> 
   <td>Java</td> 
   <td>11个月前</td> 
   <td>119</td> 
  </tr> 
  <tr> 
   <td>Gizzard</td> 
   <td>Twitter</td> 
   <td>代理架构</td> 
   <td>无限制</td> 
   <td>有</td> 
   <td>有</td> 
   <td>无</td> 
   <td>无</td> 
   <td>是</td> 
   <td>Java</td> 
   <td>无限制</td> 
   <td>3年前</td> 
   <td>2087</td> 
  </tr> 
 </tbody> 
</table>

如此多的方案，如何进行选择？可以按以下思路来考虑：  
确定是使用代理架构还是客户端架构。中小型规模或是比较简单的场景倾向于选择客户端架构，复杂场景或大规模系统倾向选择  
代理架构  
具体功能是否满足，比如需要跨节点ORDER BY，那么支持该功能的优先考虑  
不考虑一年内没有更新的产品，说明开发停滞，甚至无人维护和技术支持  
最好按大公司->社区->小公司->个人这样的出品方顺序来选择  
选择口碑较好的，比如github星数、使用者数量质量和使用者反馈  
开源的优先，往往项目有特殊需求可能需要改动源代码

按照上述思路，推荐以下选择：  
客户端架构：ShardingJDBC  
代理架构：MyCat或者Atlas

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_SnVzdGluTmVpbA_size_16_color_FFFFFF_t_70]: /images/20211109/6389fd43bcef4672bab92ae76393f77c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_SnVzdGluTmVpbA_size_16_color_FFFFFF_t_70 1]: /images/20211109/69baa0e40abc43caaa6aaec841f02e25.png