MongoDB 3.4 高可用集群搭建（三）shard 分片

逃离我推掉我的手 2022-09-26 15:57 215阅读 0赞

**数据压力大到机器支撑不了的时候能否做到自动扩展？**

**![Center][]**

**在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而[MongoDB][]主打的就是海量数据[架构][Link 1]，他不能解决海量数据怎么行！不行！“分片”就用这个来解决这个问题。**

传统[数据库][Link 2]怎么做海量数据读写？其实一句话概括：分而治之。上图看看就清楚了，如下 taobao岳旭强在infoq中提到的 架构图：

![Center 1][]

上图中有个TDDL，是taobao的一个数据访问层组件，他主要的作用是SQL解析、路由处理。根据应用的请求的功能解析当前访问的sql判断是在哪个业务数据库、哪个表访问查询并返回数据结果。具体如图：

![Center 2][]

说了这么多传统数据库的架构，那Nosql怎么去做到了这些呢？[MySQL][Link 2]要做到自动扩展需要加一个数据访问层用程序去扩展，数据库的增加、删除、备份还需要程序去控制。一但数据库的节点一多，要维护起来也是非常头疼的。不过mongodb所有的这一切通过他自己的内部机制就可以搞定！还是上图看看mongodb通过哪些机制实现路由、分片：

![Center 3][]

从图中可以看到有四个组件：mongos、config server、shard、replica set。

**mongos**：数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。

**config server**：顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，这个可不能丢失！就算挂掉其中一台，只要还有存货， mongodb集群就不会挂掉。

**shard**：这就是传说中的分片了。上面提到一个机器就算能力再大也有天花板，就像军队打仗一样，一个人再厉害喝血瓶也拼不过对方的一个师。俗话说三个臭皮匠顶个诸葛亮，这个时候团队的力量就凸显出来了。在互联网也是这样，一台普通的机器做不了的多台机器来做，如下图：

![Center 4][]

一台机器的一个数据表 Collection1 存储了 1T 数据，压力太大了！在分给4个机器后，每个机器都是256G，则分摊了集中在一台机器的压力。也许有人问一台机器硬盘加大一点不就可以了，为什么要分给四台机器呢？不要光想到存储空间，实际运行的数据库还有硬盘的读写、网络的IO、CPU和内存的瓶颈。在mongodb集群只要设置好了分片规则，通过mongos操作数据库就能自动把对应的数据操作请求转发到对应的分片机器上。在生产环境中分片的片键可要好好设置，这个影响到了怎么把数据均匀分到多个分片机器上，不要出现其中一台机器分了1T，其他机器没有分到的情况，这样还不如不分片！

**replica set**：前面已经详细讲过了这个东东，怎么这里又来凑热闹！其实上图4个分片如果没有 replica set 是个不完整架构，假设其中的一个分片挂掉那四分之一的数据就丢失了，所以在高可用性的分片架构还需要对于每一个分片构建 replica set 副本集保证分片的可靠性。生产环境通常是 2个副本 + 1个仲裁。

说了这么多，还是来实战一下如何搭建高可用的mongodb集群：

首先确定各个组件的数量，mongos 3个， config server 3个，数据分3片 shard server 3个，每个shard 有一个副本一个仲裁也就是 3 \* 2 = 6 个，总共需要部署15个实例。这些实例可以部署在独立机器也可以部署在一台机器，我们这里[测试][Link 3]资源有限，只准备了 3台机器，在同一台机器只要端口不同就可以，看一下物理部署图：

![Center 5][]

1、准备机器，IP分别设置为： 192.168.4.200、192.168.4.201、192.168.4.202，并分别创建mongos 、config 、 shard1 、shard2、shard3对应目录

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div> 
    </div> <p></p></td> 
   <td> 
    <div> 
     <div> 
      <code>#建立mongos及日志目录</code> 
     </div> 
     <div> 
      <code>mkdir&nbsp;</code> 
      <code>-p&nbsp;</code> 
      <code>/data/mongodbtest/mongos/log</code> 
     </div> 
    </div> <p></p></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> &nbsp;</td> 
   <td> 
    <div> 
     <div> 
      <code>#建立config server 数据文件存放目录</code> 
     </div> 
     <div> 
      <code>mkdir&nbsp;</code> 
      <code>-p&nbsp;</code> 
      <code>/data/mongodbtest/config/data</code> 
     </div> 
    </div> <p></p></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div> 
    </div> <p></p></td> 
   <td> 
    <div> 
     <div> 
      <code>#建立config server 日志文件存放目录</code> 
     </div> 
     <div> 
      <code>mkdir&nbsp;</code> 
      <code>-p&nbsp;</code> 
      <code>/data/mongodbtest/config/log</code> 
     </div> 
    </div> <p></p></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> &nbsp;</td> 
   <td> 
    <div> 
     <div> 
      <code>#建立shard1 数据文件存放目录</code> 
     </div> 
     <div> 
      <code>mkdir&nbsp;</code> 
      <code>-p&nbsp;</code> 
      <code>/data/mongodbtest/shard1/data</code> 
     </div> 
    </div> <p></p></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> &nbsp;</td> 
   <td> 
    <div> 
     <div> 
      <code>#建立shard1 日志文件存放目录</code> 
     </div> 
     <div> 
      <code>mkdir&nbsp;</code> 
      <code>-p&nbsp;</code> 
      <code>/data/mongodbtest/shard1/log</code> 
     </div> 
    </div> <p></p></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> &nbsp;</td> 
   <td> 
    <div> 
     <div> 
      <code>#建立shard2 数据文件存放目录</code> 
     </div> 
     <div> 
      <code>mkdir&nbsp;</code> 
      <code>-p&nbsp;</code> 
      <code>/data/mongodbtest/shard2/data</code> 
     </div> 
    </div> <p></p></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> &nbsp;</td> 
   <td> 
    <div> 
     <div> 
      <code>#建立shard2 日志文件存放目录</code> 
     </div> 
     <div> 
      <code>mkdir&nbsp;</code> 
      <code>-p&nbsp;</code> 
      <code>/data/mongodbtest/shard2/log</code> 
     </div> 
    </div> <p></p></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> &nbsp;</td> 
   <td> 
    <div> 
     <div> 
      <code>#建立shard3 数据文件存放目录</code> 
     </div> 
     <div> 
      <code>mkdir&nbsp;</code> 
      <code>-p&nbsp;</code> 
      <code>/data/mongodbtest/shard3/data</code> 
     </div> 
    </div> <p></p></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> &nbsp;</td> 
   <td> 
    <div> 
     <div> 
      <code>#建立shard3 日志文件存放目录</code> 
     </div> 
     <div> 
      <code>mkdir&nbsp;</code> 
      <code>-p&nbsp;</code> 
      <code>/data/mongodbtest/shard3/log</code> 
     </div> 
    </div> <p></p></td> 
  </tr> 
 </tbody> 
</table>

2、 规划5个组件对应的端口号，由于一个机器需要同时部署 mongos、config server 、shard1、shard2、shard3，所以需要用端口进行区分。  
  
这个端口可以自由定义，在本文 mongos为 20000， config server 为 21000， shard1为 22001 ， shard2为22002， shard3为22003.

3、在每一台服务器分别启动配置服务器（后台运行）

``/home/weixla/mongodb-3.4.0/bin`/``mongod``--configsvr --replSet cfgReplSet``--dbpath``/data/mongodbtest/config/data``--port 21000``--logpath``/data/mongodbtest/config/log/config``.log --fork`

![Center 6][]

连接到任意一台配置服务器上

/home/weixla/mongodb-3.4.0/bin/mongo –host 192.168.4.200 –port 21000``

![Center 7][]

创建配置服务器副本集

rs.initiate(\{\_id:”cfgReplSet”,configsvr:true,members:\[\{\_id:0,host:”192.168.4.200:21000”\},\{\_id:1,host:”192.168.4.201:21000”\},\{\_id:2,host:”192.168.4.202:21000”\}\]\})

![Center 8][]

4、在每一台服务器分别启动分片及副本集。（后台运行）

在每一台服务器分别以副本集方式启动分片1

/home/weixla/mongodb-3.4.0/bin/mongod –shardsvr –replSet shard1ReplSet –port 22001 –dbpath /data/mongodbtest/shard1/data –logpath /data/mongodbtest/shard1/log/shard1.log –fork –nojournal

![Center 9][]

连接任意一台分片服务器

/home/weixla/mongodb-3.4.0/bin/mongo –host 192.168.4.200 –port 22001

![Center 10][]

创建副本集并初始化

rs.initiate(\{\_id:”shard1ReplSet”,members:\[\{\_id:0,host:”192.168.4.200:22001”\},\{\_id:1,host:”192.168.4.201:22001”\},\{\_id:2,host:”192.168.4.202:22001”\}\]\})

![Center 11][]

同样操作shar2 shard3

/home/weixla/mongodb-3.4.0/bin/mongod –shardsvr –replSet shard2ReplSet –port 22002 –dbpath /data/mongodbtest/shard2/data –logpath /data/mongodbtest/shard2/log/shard2.log –fork –nojournal

/home/weixla/mongodb-3.4.0/bin/mongod –shardsvr –replSet shard3ReplSet –port 22003 –dbpath /data/mongodbtest/shard3/data –logpath /data/mongodbtest/shard3/log/shard3.log –fork –nojournal

5、选择一台服务器启动mongos路由服务。

/home/weixla/mongodb-3.4.0/bin/mongos –configdb cfgReplSet/192.168.4.200:21000,192.168.4.201:21000,192.168.4.202:21000 –port 20000 –logpath /data/mongodbtest/mongos/log/mongos.log –fork

![Center 12][]

登录路由服务客户端

/home/weixla/mongodb-3.4.0/bin/mongo –host 192.168.4.200 –port 20000

![Center 13][]

添加分片到集群

sh.addShard(“shard1ReplSet/192.168.4.200:22001,192.168.4.201:22001,192.168.4.202:22001”)

![Center 14][]

依次添加shard2 shard3

sh.addShard(“shard2ReplSet/192.168.4.200:22002,192.168.4.201:22002,192.168.4.202:22002”)

sh.addShard(“shard3ReplSet/192.168.4.200:22003,192.168.4.201:22003,192.168.4.202:22003”)

6、Enable Sharding for a Database

sh.enableSharding(“test”)

![Center 15][]

7、Shard a Collection

sh.shardCollection(“test.Log”, \{ id: 1\})

![Center 16][]

8、测试

use test

`for``(var i = 1; i <= 100000; i++){`

`db.Log.save({ id:i,"message":"message"+i});`

`}`

从这个结果看来，1个分片 保存了1条，另一个分片保存了剩下的所有记录，这是shard key的策略造成的，让我们看下官方图

![Center 17][]

![Center 18][]

那我们修改一下sharding key的策略为hashed,重新插入数据

![Center 19][]

结果如下

![Center 20][]

![Center 21][]

这里基本保持了数据的均衡。

参考：https://docs.mongodb.com/manual/sharding/

[Center]: /images/20220708/12b193c24a24454f8d443162ce38b56c.png
[MongoDB]: http://lib.csdn.net/base/mongodb
[Link 1]: http://lib.csdn.net/base/architecture
[Link 2]: http://lib.csdn.net/base/mysql
[Center 1]: /images/20220708/847cee8629ac4363a11c5121c2b409bc.png
[Center 2]: /images/20220708/3acc0ee900a34f48ab91cbf7db342e3b.png
[Center 3]: /images/20220708/d9613c4b791141fbaa6f2a4f03105b78.png
[Center 4]: /images/20220708/ffaf95d5ff614445909c7b47bba54f0a.png
[Link 3]: http://lib.csdn.net/base/softwaretest
[Center 5]: /images/20220708/c3388e27ec514d729f323817910f3af1.png
[Center 6]: /images/20220708/491de716ee4148b8a2c637d48d36c3e6.png
[Center 7]: /images/20220708/ecdd79d7e8d04607ad31e087bad8e826.png
[Center 8]: /images/20220708/552f5ddaac4f4aedbe81b31c7b3ec683.png
[Center 9]: /images/20220708/e6e6eedc51ba4a479faad0bc2bcea5ab.png
[Center 10]: /images/20220708/6244a1d0f6084049bf5aed75f31c1aee.png
[Center 11]: /images/20220708/072c836e00bf4b508e0b59c03c0d3ef4.png
[Center 12]: /images/20220708/90d7481fb14847fea4d2bbe257a53831.png
[Center 13]: /images/20220708/f901f95b5238497cacfebdda7acb17d0.png
[Center 14]: /images/20220708/2991437fbc8c45549550cd07863fa0d8.png
[Center 15]: /images/20220708/c8007368817b47b8a3145bfe36f018d6.png
[Center 16]: /images/20220708/b7742c0d8675467c8220f6c842d57f84.png
[Center 17]: /images/20220708/e50d54853fca4ef8872e1179f2ad0d41.png
[Center 18]: /images/20220708/f128d79c4f4d4d2d84198fd65e92588c.png
[Center 19]: /images/20220708/980ba4c8f1044177b3193e2e4251db8e.png
[Center 20]: /images/20220708/f4b1c4b11d414a418baac89622f10ee3.png
[Center 21]: /images/20220708/4bde35f49a394ba685af02da012e6ec8.png