MongoDB主从复制与分片技术，和运维技术的状态查询

╰+哭是因爲堅強的太久メ 2022-07-13 06:55 171阅读 0赞

# 主从复制 #

我们知道sql server能够做到读写分离，双机热备份和集群部署，当然mongodb也能做到，实际应用中我们不希望数据库采用单点部署，

如果碰到数据库宕机或者被毁灭性破坏那是多么的糟糕。

一：主从复制

1： 首先看看模型图

![2012030419362291.png][]

2: 从上面的图形中我们可以分析出这种架构有如下的好处：

<1> 数据备份。

<2> 数据恢复。

<3> 读写分离。

3：下面我们就一一实践

实际应用中我们肯定是多服务器部署，限于自己懒的装虚拟机，就在一台机器上实践了。

第一步：我们把mongodb文件夹放在D盘和E盘，模拟放在多服务器上。

第二步：启动D盘上的mongodb，把该数据库指定为主数据库，其实命令很简单：>mongodb --dbpath='XXX' --master，

端口还是默认的27017.

![2012030419484115.png][]

第三步：同样的方式启动E盘上的mongodb，指定该数据库为从属数据库，命令也很简单，当然我们要换一个端口，比如：8888。

source 表示主数据库的地址。

>mongod --dbpath=xxxx --port=8888 --slave --source=127.0.0.1:27017

![2012030419575325.png][]

第四步：从图中的红色区域我们发现了一条：“applied 1 operations"这样的语句，并且发生的时间相隔10s，也就说明从属数据库每10s

就向主数据库同步数据，同步依据也就是寻找主数据库的”OpLog“日志，可以在图中红色区域内发现”sync\_pullOpLog“字样。

接下来我们要做的就是测试，惊讶的发现数据已经同步更新，爽啊。

![2012030420421064.png][]

4： 如果我还想增加一台从属数据库，但是我不想在启动时就指定，而是后期指定，那么mongodb可否做的到呢？答案肯定是可以的。

我们的主或者从属数据库中都有一个叫做local的集合，主要是用于存放内部复制信息。

好，那么我们就试一下，我在F盘再拷贝一份mongodb的运行程序，cmd窗口好多啊，大家不要搞乱了。

![2012030421001516.png][]

看上面的log，提示没有主数据库，没关系，某一天我们良心发现，给他后期补贴一下，哈哈，再开一个cmd窗口，语句也就是

在sources中add一个host地址，最后发现数据也同步到127.0.0.1:5555这台从属数据库中....

![2012030421113076.png][]

5: 读写分离

这种手段在大一点的架构中都有实现，在mongodb中其实很简单，在默认的情况下，从属数据库不支持数据的读取，但是没关系，

在驱动中给我们提供了一个叫做“slaveOkay"来让我们可以显示的读取从属数据库来减轻主数据库的性能压力，这里就不演示了。

二：副本集

这个也是很牛X的主从集群，不过跟上面的集群还是有两点区别的。

<1>: 该集群没有特定的主数据库。

<2>: 如果哪个主数据库宕机了，集群中就会推选出一个从属数据库作为主数据库顶上，这就具备了自动故障恢复功能，很牛X的啊。

好，我们现在就来试一下，首先把所有的cmd窗口关掉重新来，清掉db下的所有文件。

第一步: 既然我们要建立集群，就得取个集群名字，这里就取我们的公司名shopex, --replSet表示让服务器知道shopex下还有其他数据库，

这里就把D盘里面的mongodb程序打开，端口为2222。指定端口为3333是shopex集群下的另一个数据库服务器。

![2012030521115069.png][]

第二步: 既然上面说3333是另一个数据库服务器，不要急，现在就来开，这里把E盘的mongodb程序打开。

![2012030521184360.png][]

第三步： ok，看看上面的日志红色区域，似乎我们还没有做完，是的，log信息告诉我们要初始化一下“副本集“，既然日志这么说，那我也就

这么做，随便连接一下哪个服务器都行，不过一定要进入admin集合。

![2012030521211425.png][]

第四步： 开启成功后，我们要看看谁才能成为主数据库服务器，可以看到端口为2222的已经成为主数据库服务器。

![2012030521231737.png][]

第五步：我们知道sql server里面有一个叫做仲裁服务器，那么mongodb中也是有的，跟sql server一样，仲裁只参与投票选举，这里我们

把F盘的mongodb作为仲裁服务器，然后指定shopex集群中的任一个服务器端口，这里就指定2222。

![2012030521272659.png][]

然后我们在admin集合中使用rs.addArb()追加即可。

![2012030521292450.png][]

追加好了之后，我们使用rs.status()来查看下集群中的服务器状态，图中我们可以清楚的看到谁是主，还是从，还是仲裁。

![2012030521311013.png][]

不是说该集群有自动故障恢复吗？那么我们就可以来试一下，在2222端口的cmd服务器按Ctrl+C来KO掉该服务器，立马我们发现

在3333端口的从属服务器即可顶上，最后大家也可以再次使用rs.status()来看下集群中服务器的状态。

![2012030521333420.png][]

# 分片技术 #

在mongodb里面存在另一种集群，就是分片技术，跟sql server的表分区类似，我们知道当数据量达到T级别的时候，我们的磁盘，内存

就吃不消了，针对这样的场景我们该如何应对。

一：分片

mongodb采用将集合进行拆分，然后将拆分的数据均摊到几个片上的一种解决方案。

![2012030710375715.png][]

下面我对这张图解释一下：

人脸： 代表客户端，客户端肯定说，你数据库分片不分片跟我没关系，我叫你干啥就干啥，没什么好商量的。

mongos： 首先我们要了解”片键“的概念，也就是说拆分集合的依据是什么？按照什么键值进行拆分集合....

好了，mongos就是一个路由服务器，它会根据管理员设置的“片键”将数据分摊到自己管理的mongod集群，数据

和片的对应关系以及相应的配置信息保存在"config服务器"上。

mongod: 一个普通的数据库实例，如果不分片的话，我们会直接连上mongod。

二： 实战

首先我们准备4个mongodb程序，我这里是均摊在C，D，E，F盘上，当然你也可以做多个文件夹的形式。

1：开启config服务器

先前也说了，mongos要把mongod之间的配置放到config服务器里面，理所当然首先开启它，我这里就建立2222端口。

![2012030710342674.png][]

2: 开启mongos服务器

这里要注意的是我们开启的是mongos，不是mongod，同时指定下config服务器，这里我就开启D盘上的mongodb，端口3333。

![2012030710431854.png][]

3：启动mongod服务器

对分片来说，也就是要添加片了，这里开启E，F盘的mongodb，端口为：4444，5555。

![2012030710475440.png][]

4： 服务配置

哈哈，是不是很兴奋，还差最后一点配置我们就可以大功告成。

<1> 先前图中也可以看到，我们client直接跟mongos打交道，也就说明我们要连接mongos服务器，然后将4444，5555的mongod

交给mongos,添加分片也就是addshard()。

![2012030710594438.png][]

这里要注意的是，在addshard中，我们也可以添加副本集，这样能达到更高的稳定性。

<2>片已经集群了，但是mongos不知道该如何切分数据，也就是我们先前所说的片键，在mongodb中设置片键要做两步

①：开启数据库分片功能，命令很简单 enablesharding(),这里我就开启test数据库。

②：指定集合中分片的片键，这里我就指定为person.name字段。

![2012030711082695.png][]

5: 查看效果

好了，至此我们的分片操作全部结束，接下来我们通过mongos向mongodb插入10w记录，然后通过printShardingStatus命令

查看mongodb的数据分片情况。

![2012030712295413.png][]

这里主要看三点信息：

① shards： 我们清楚的看到已经别分为两个片了，shard0000和shard0001。

② databases: 这里有个partitioned字段表示是否分区，这里清楚的看到test已经分区。

③ chunks： 这个很有意思，我们发现集合被砍成四段：

无穷小 —— jack0，jack0 ——jack234813，jack234813——jack9999，jack9999——无穷大。

分区情况为：3：1，从后面的 on shardXXXX也能看得出。

# 运维技术 #

这一篇我们以管理员的视角来看mongodb，作为一名管理员，我们经常接触到的主要有4个方面：

1． 安装部署

2． 状态监控

3． 安全认证

4． 备份和恢复，

下面我们就一点一点的讲解。

一：安装部署

我之前的文章都是采用console程序来承载，不过在生产环境中这并不是最佳实践，谁也不愿意在机器重启后满地找牙似找mongodb，

在mongodb里面提供了一个叫做“服务寄宿”的模式，我想如果大家对wcf比较熟悉的话很容易听懂。好了，我们实践一下，这里我开一下D盘

里面的mongodb。

![2012030723525772.png][]

这里要注意的有两点：

<1> logpath: 当我们使用服务寄宿的时候，用眼睛都能想明白肯定不会用console来承载日志信息了。

<2> install: 开启安装服务寄宿，很happy啊，把管理员的手工操作降低到最小，感谢mongodb。

好了，console程序叫我看log日志，那我就看看，发现mongodb已经提示我们如何开启mongodb，接着我照做就是了。

![2012030723561075.png][]

还要提醒大家一点的就是，这些命令参数很多很复杂也就很容易忘，不过没关系，数据库给我们提供了一个help方法，我们可以

拿mongod和mongo说事。

mongod：

![2012030800002917.png][]

mongo：

![2012030800015077.png][]

二：状态监控

监控可以让我们实时的了解数据库的健康状况以及性能调优，在mongodb里面给我们提供了三种方式。

1：http监视器

这个我在先前的文章中也提到了，这里就不赘述了。

2：serverStatus()

这个函数可以获取到mongodb的服务器统计信息，其中包括 ：全局锁，索引，用户操作行为等等这些统计信息，对管理员来说非常

重要，具体的参数含义可以参考园友：[http://www.cnblogs.com/xuegang/archive/2011/10/13/2210339.html][http_www.cnblogs.com_xuegang_archive_2011_10_13_2210339.html]

这里还是截个图混个眼熟。

![2012030800124579.png][]

3：mongostat

前面那些统计信息再牛X，那也是静态统计，不能让我观看实时数据变化，还好，mongodb里面提供了这里要说的mongodstat

监视器，这玩意会每秒刷新，在实际生产环境中大有用处，还是截张图，很有意思，是不是感觉大军压境了。

![2012030800183340.png][]

三: 安全认证

作为数据库软件，我们肯定不想谁都可以访问，为了确保数据的安全，mongodb也会像其他的数据库软件一样可以采用用户

验证的方法，那么该怎么做呢？其实很简单，mongodb提供了addUser方法，还有一个注意点就是如果在admin数据库中添加

将会被视为“超级管理员”。

![2012030800253942.png][]

上面的admin用户将会被视为超级管理员，“jack”用户追加的第三个参数表示是否是“只读用户”，好了，该添加的我们都添加了，

我们第一次登录时不是采用验证模式，现在我们使用--reinstall重启服务并以--auth验证模式登录。

![2012030800311149.png][]

好了，我们进入test集合翻翻数据看看情况，我们发现jack用户始终都是没有写入的权限，不管是授权或者未授权。

![2012030800392380.png][]

四：备份和恢复

这玩意的重要性我想都不需要我来说了吧，这玩意要是搞不好会死人的,mongodb里面常用的手段有3种。

1： 直接copy

这个算是最简单的了，不过要注意一点，在服务器运行的情况下直接copy是很有风险的，可能copy出来时，数据已经遭到

破坏，唯一能保证的就是要暂时关闭下服务器，copy完后重开。

2：mongodump和mongorestore

这个是mongo给我们提供的内置工具，很好用，能保证在不关闭服务器的情况下copy数据。

为了操作方便，我们先删除授权用户。

![2012030800513783.png][]

好了，我们转入正题，这里我先在D盘建立一个backup文件夹用于存放test数据库。

![2012030800560180.png][]

快看，数据已经备份过来了，太爽了，现在我们用mongorestore恢复过去，记住啊，它是不用关闭机器的。

![2012030800591777.png][]

提一点的就是 drop选项，这里是说我将test数据恢复之前先删除原有数据库里面的数据，同样大家可以通过help查看。

3：主从复制

这个我在上上篇有所介绍，这里也不赘述了。

其实上面的1，2两点都不能保证获取数据的实时性，因为我们在备份的时候可能还有数据灌在内存中不出来，那么我们

想说能不能把数据暴力的刷到硬盘上，当然是可以的,mongodb给我们提供了fsync+lock机制就能满足我们提的需求。

fsync+lock首先会把缓冲区数据暴力刷入硬盘，然后给数据库一个写入锁，其他实例的写入操作全部被阻塞，直到fsync

\+lock释放锁为止。

这里就不测试了。

加锁： db.runCommand(\{"fsync":1,"lock":1\})

释放锁： db.$cmd.unlock.findOne()

# 驱动技术实践 #

http://www.cnblogs.com/huangxincheng/archive/2012/03/09/2386054.html

# MongoDB集群分片安装与配置 #

软件准备

下载mongoDB（mongoDB下载地址），笔者使用的是mongoDB 2.0.4的Linux 64-bit版本。

解压：tar xzf mongo.tgz

默认情况下，mongoDB将数据存储在/data/db目录下，但它不会自动创建该目录，所以我们需要手动创建它：

*$ sudo mkdir -p /data/db/*

*$ sudo chown \`id -u\` /data/db*

也可以使用--dbpath参数来指定别的数据库目录。

如果只是想在单机上测试一下mongoDB的话，非常简单，首先启动MongoDB server，

*$ ./[mongodb][]\-xxxxxxx/bin/mongod*

在另外一个终端，连接到我们启动的server：

*$ ./mongodb-xxxxxxx/bin/mongo*

> *db.foo.save( \{ a : 1 \} )*

> *db.foo.find()*

Sharding Cluster介绍

这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统，其构架图如下：

![mongoDB集群（分片）搭建与配置][mongoDB]

要构建一个 MongoDB Sharding Cluster，需要三种角色：

Shard Server：每个Shard可以是一个mongod 实例，也可以是一组mongod实例，用于存储实际的数据分片，实际生产环境中一个shard server角色可由几台机器组个一个relica set承担，防止主机单点故障。

Config Server：为了将一个特定的collection存储在多个Shard中，需要为该collection指定一个Shard key，决定该记录属于哪个chunk。mongod 实例，存储了整个 Cluster Metadata，其中包括 chunk 信息。具体来说，配置服务器可以存储以下信息：

每个chunk的Shard key范围

chunk在各Shard的分布情况

集群中所有ＤＢ和collection的Sharding配置信息

Route Server：mongos 实例，前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。路由首先询问配置服务器需要到哪个Shard上查询或保存记录，然后连接相应的Shard执行操作，最后将结果返回给客户端。

整体配置概览

首先说一下笔者的分片搭建环境，三台服务器，操作系统都是Ubuntu 11.04 Server 版，64位。IP分别为192.168.56.191、192.168.56.168、192.168.56.169，具体如下表所示：

<table style="color:rgb(51,51,51); font-family:Verdana,Arial,Helvetica,sans-serif; font-size:13px; line-height:24px"> 
 <thead> 
 <tr> 
 <th style="padding:0px; margin:0px; font-weight:normal"> 主机 </th> 
 <th style="padding:0px; margin:0px; font-weight:normal"> IP </th> 
 <th style="padding:0px; margin:0px; font-weight:normal"> 服务及端口 </th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="padding:0px; margin:0px"> server1 </td> 
 <td style="padding:0px; margin:0px"> 192.168.56.191 </td> 
 <td style="padding:0px; margin:0px"> mongod shard11:27017 mongod shard12:27018 mongod config1:20000 mongs1:30000 </td> 
 </tr> 
 <tr> 
 <td style="padding:0px; margin:0px"> server2 </td> 
 <td style="padding:0px; margin:0px"> 192.168.56.168 </td> 
 <td style="padding:0px; margin:0px"> mongod shard12:27017 mongod shard22:27018 mongod config2:20000 mongs2:30000 </td> 
 </tr> 
 <tr> 
 <td style="padding:0px; margin:0px"> server3 </td> 
 <td style="padding:0px; margin:0px"> 192.168.56.169 </td> 
 <td style="padding:0px; margin:0px"> mongod shard13:27017 mongod shard23:27018 mongod config3:20000 mongs3:30000 </td> 
 </tr> 
 </tbody> 
</table>

这样我们集群包含了：

2个shard（mongod）、3个replica

shard1：192.168.56.191：27017、192.168.56.168：27017、192.168.56.169：27017

shard2：192.168.56.191：27018、192.168.56.168：27018、192.168.56.169：27018

3个config server：192.168.56.191：20000、192.168.56.168：20000、192.168.56.169： 20000

3个mongos：192.168.56.191：30000、192.168.56.168：30000、192.168.56.169： 30000

步骤

**1）创建文件夹**

在各台server上创建shard文件目录

Server1：  
*mkdir -p data/db/shard11  
mkdir -p data/db/shard21*

Server2：  
mkdir -p data/db/shard12  
mkdir -p data/db/shard22

Server3：  
mkdir -p data/db/shard13  
mkdir -p data/db/shard23

创建完毕后，请确保当前用户对该文件夹拥有读写权限（使用chown命令），否则之后会报错。

**2） 在三台机器上分别启动mongod进程**

Server1：

*./bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/db/shard11/ --oplogSize 100 --logpath /data/db/shard12.log --logappend --fork --rest*

*./bin/mongod -shardsvr -replSet shard2 -port 27018 -dbpath /data/db/shard21/ -oplogSize 100 -logpath /data/db/shard22.log -logappend -fork*

Server2：  
*./bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/db/shard11/ --oplogSize 100 --logpath /data/db/shard12.log --logappend --fork --rest*

*./bin/mongod -shardsvr -replSet shard2 -port 27018 -dbpath /data/db/shard21/ -oplogSize 100 -logpath /data/db/shard22.log -logappend -fork*

Server3：  
*./bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/db/shard13/ --oplogSize 100 --logpath /data/db/shard12.log --logappend --fork --rest*

*./bin/mongod -shardsvr -replSet shard2 -port 27018 -dbpath /data/db/shard23/ -oplogSize 100 -logpath /data/db/shard22.log -logappend -fork*

**3） 初始化两组Replica Set**

确认第2步没有报错之后，我们开始配置Replica Set。 通过mongo连接到shard1的一个mongod：

*./bin/mongo 192.168.56.191:27017*

执行如下命令：

*config = \{\_id: 'shard1', members: \[\{\_id: 0, host: '192.168.56.191:27017'\}, \{\_id: 1, host: '192.168.56.168:27017'\}, \{\_id: 2, host: '192.168.56.169:27017'\}\]\};*

*rs.initiate(config);*

同样方法，配置shard2用到的replica set：

*./bin/mongo 192.168.56.191:27018*

*config = \{\_id: 'shard2', members: \[\{\_id: 0, host: '192.168.56.191:27018'\}, \{\_id: 1, host: '192.168.56.168:27018'\}, \{\_id: 2, host: '192.168.56.169:27018'\}\]\};*

*rs.initiate(config);*

**4） 启动Config Server**

在三台机器上分别启动并配置一台Config Server。命令如下：

*./bin/mongod --configsvr --dbpath /data/db/config/ --port 20000 --logpath /data/db/config.log --logappend --fork*

**5）启动Routing Server**

部署并配置三台Routing Server

*./bin/mongos --configdb 192.168.56.191:20000,192.168.56.168:20000,192.168.56.169:20000 --port 30000 --chunkSize 100 --logpath /data/db/mongos.log --logappend --fork*

**6）添加分片**

连接到mongs服务器，并切换到admin

*./bin/mongo 192.168.56.191:30000/admin*

*db.runCommand(\{addshard:"shard1/192.168.56.191:27017,192.168.56.168:27017,192.168.56.169:27017",name:"shard1",maxsize:2048, allowLocal:true \});*

**注意：**

如果在上述操作中抛出类似如下的错误信息：

in seed list shard1/192.168.56.191:27017,192.168.56.168:27017,192.168.56.169:27017, host 192.168.56.191:27017 does not belong to replica set shard1

**那么将“192.168.56.191:27017”去掉再试试，笔者试过，可以成功，但原因目前还不太清楚。**

*db.runCommand(\{addshard:"shard2/192.168.56.191:27018,192.168.56.168:27018,192.168.56.169:27018", name:"shard2",maxsize:2048, allowLocal:true \});*

*db.runCommand( \{ listshards : 1 \} );*

如果列出(sharding)了以上二个你加的shards，表示shards已经配置成功。笔者测试的输出如下：

mongos> db.runCommand( \{ listshards : 1 \} );

"shards" : \[

"\_id" : "shard1",

"host" : "shard1/192.168.56.168:27017,192.168.56.169:27017,192.168.56.155:27017"

\},

"\_id" : "shard2",

"host" : "shard2/192.168.56.168:27018,192.168.56.169:27018,192.168.56.191:27018"

\],

"ok" : 1

[2012030419362291.png]: /images/20220713/44f543069f6f46b5a5f32527bfeeb7de.png
[2012030419484115.png]: /images/20220713/9e211bf3e6424e418a3be5012822b2da.png
[2012030419575325.png]: /images/20220713/2d1c2b7fa0814fb980614685399e6b55.png
[2012030420421064.png]: /images/20220713/0ce78bdc0888448185d2903a14b18531.png
[2012030421001516.png]: /images/20220713/033a248718f645d98cd41a4216d78480.png
[2012030421113076.png]: /images/20220713/26bc68c0be134a949287e8e70288cdf7.png
[2012030521115069.png]: /images/20220713/cfdff6a421a54a2ab8736d50e38ee12c.png
[2012030521184360.png]: /images/20220713/e31b75c27cc04115a8dddd3228f9cfe2.png
[2012030521211425.png]: /images/20220713/7b51b17277da48ad95a9cab863652caf.png
[2012030521231737.png]: /images/20220713/8252c6628aa74631b2b46c1ea13b6d53.png
[2012030521272659.png]: /images/20220713/1b77921842f54934946edba7937aaeea.png
[2012030521292450.png]: /images/20220713/be12b28e6e20473f8aebab35e7501e5c.png
[2012030521311013.png]: /images/20220713/8986d8774034470cb1f9f3a75a9c15ec.png
[2012030521333420.png]: /images/20220713/bca858c7d4124071a9964835fcfdea32.png
[2012030710375715.png]: /images/20220713/641e9802e6864a14a3845799c2fff505.png
[2012030710342674.png]: /images/20220713/72146ab799ec425dbaa0125c9010de08.png
[2012030710431854.png]: /images/20220713/074c20c23ee34a128a2b80a0175b5268.png
[2012030710475440.png]: /images/20220713/d77a1f3d3905442992103beadd5ba6b8.png
[2012030710594438.png]: /images/20220713/6d43076ac0eb4679ad6ef4c10accdfbb.png
[2012030711082695.png]: /images/20220713/87987936b59147a6a67f547c68dd2641.png
[2012030712295413.png]: /images/20220713/cd80625b21074f6892ad14f1d81b85fa.png
[2012030723525772.png]: /images/20220713/96b5244e9b26491b85e87e3158b6428c.png
[2012030723561075.png]: /images/20220713/e8f5637e28c14fd49c56d24553baf92c.png
[2012030800002917.png]: /images/20220713/250b629405694a809a236792261d5875.png
[2012030800015077.png]: /images/20220713/81e9fe25b0d54f27a798e08eddd65207.png
[http_www.cnblogs.com_xuegang_archive_2011_10_13_2210339.html]: http://www.cnblogs.com/xuegang/archive/2011/10/13/2210339.html
[2012030800124579.png]: /images/20220713/8f9f72e3508f4b54833b5f1366cd9ffc.png
[2012030800183340.png]: /images/20220713/deaf1eadfe5246b98c4eaa3f3e5fc5e4.png
[2012030800253942.png]: /images/20220713/8d194370513f4e52bca0053267596113.png
[2012030800311149.png]: /images/20220713/252ee550423e4548884798297cca6073.png
[2012030800392380.png]: /images/20220713/54553424690e49da8da2f129ef6c3526.png
[2012030800513783.png]: /images/20220713/a9d5165c25384d89910cb3d2482fb417.png
[2012030800560180.png]: /images/20220713/88675adb491246038a92cb62b251ea67.png
[2012030800591777.png]: /images/20220713/3ca0e8fd909444e196df63afc4d0c3ae.png
[mongodb]: http://www.server110.com/mongodb/
[mongoDB]: http://upload.server110.com/image/20140306/00135634W-0.jpg