MongoDB在不同主机间复制数据库和集合

以你之姓@ 2021-06-26 16:06 223阅读 0赞

MongoDB自带了`clone`一族JavaScript函数来进行数据的复制,这里我们总结了`MongoDB`在不同主机间复制数据库和集合的教程,列举出了一些主从复制操作中常用的重要函数:

1.  `db.cloneCollection()`

db.cloneCollection(from, collection, query)

在不同的`mongodb`实例间复制数据，`db.cloneCollection`是`cloneCollection`数据库命令的一个外在体现。

function (from, collection, query) { 
     assert( isString(from) && from.length );
     assert( isString(collection) && collection.length );
     collection = this._name + "." + collection;
     query = query || { };
     return this._dbCommand( {  cloneCollection:collection, from:from, query:query
    } );
    }

参数：

`from` string 包含需要复制的表的mongodb实例主机名  
`collection` string 数据实例中需要复制的表名，该命令只可以复制远程mongodb实例上相同数据库名称的表  
`query` document 可选的选项。标准的查询语句过滤掉不需要的文档

**`db.cloneCollection()`不允许通过`mongos`来复制表，只能通过`mongod`实例来操作。**  
示例：  
192.168.11.51 mongod实例`mydb`库，`bar`集合：

{  "_id" : ObjectId("53687d9df433cf04b788c6d1"), "name" : "dog" }
    {  "_id" : ObjectId("53687ff1f433cf04b788c6d2"), "name" : "cat" }
    {  "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }

本地mongod实例mydb库，复制远程主机的bar集合中满足查询条件的文档：

db.cloneCollection(“192.168.11.52”, “bar”, \{“name” : “tiger”\})  
db.bar.find();  
\{ “\_id” : ObjectId(“53687ff4f433cf04b788c6d3”), “name” : “tiger” \}

1.  `db.cloneDatabase()`

db.cloneDatabase("hostname")

复制远程主机的数据库到本地，该命令假设远程`mongodb`实例中拥有与本地相同的数据库名称。

`hostname` string 包含需要复制的数据库的mongodb实例主机名

`db.cloneDatabase`是`clone`数据库命令的一个外在体现。

function (from) { 
     assert( isString(from) && from.length );
     return this._dbCommand( {  clone: from } );
    }

示例：  
192.168.11.51 mongod实例`mydb`库，  
本机mongodb实例：

use mydb
    db.dropDatabase();
    db.cloneDatabase("192.168.11.52");

1.  `db.copyDatabase()`

db.copyDatabase(fromdb, todb, fromhost, username, password)

从远程主机复制数据库到本地，或从本地复制数据库到远程主机。

`db.copyDatabase`是`copydb`数据库命令的一个外在体现。

function (fromdb, todb, fromhost, username, password) { 
     assert( isString(fromdb) && fromdb.length );
     assert( isString(todb) && todb.length );
     fromhost = fromhost || "";
     if ( username && password ) { 
      var n = this._adminCommand( {  copydbgetnonce : 1, fromhost:fromhost } );
    
      return this._adminCommand( {  copydb:1, fromhost:fromhost, fromdb:fromdb,
     todb:todb, username:username, nonce:n.nonce, key:this.__pwHash( n.nonce, userna
    me, password ) } );
     } else { 
      return this._adminCommand( {  copydb:1, fromhost:fromhost, fromdb:fromdb,
     todb:todb } );
     }
    }

参数：  
`fromdb` string 源数据库名称  
`todb` string 目标数据库名称  
`fromhost` string 可选项，源数据库的主机名。如果是同一主机，忽略该选项  
`username` string 可选项，源主机名用户名  
`password` string 可选项，源主机名用户名对应密码

属性：  
（1）`db.copyDatabase()`运行在目标主机的`mongod`实例上。  
（2）`db.copyDatabase()`会创建目标数据库，如果其原来不存在。  
（3）`db.copyDatabase()`需要目标机器上有足够的空间进行复制。  
（4）`db.copyDatabase()`并不会产生目标数据库的即时快照。如果在复制过程中在源或目标库发生读写操作，会导致数据库不一致。  
（5）`db.copyDatabase()`在操作过程中并不会锁住目标主机，所以复制过程中可能出现暂时的中断来完成其他操作。

源数据库(fromdb)：  
**mongodb2.6需要在源主机和目标主机拥有以下权限来执行`copydb`。**  
（1）如果源主机数据库不是`admin`，必须确保拥有以下权限：

{  resource: {  db: "mySourceDB", collection: "" }, actions: [ "find" ] }
    {  resource: {  db: "mySourceDB", collection: "system.js" }, actions: [ "find" ] }

如果源主机是一台远程主机，必须确保拥有以下权限：

{  resource: {  db: "mySourceDB", collection: "system.indexes" }, actions: [ "find" ] }
    {  resource: {  db: "mySourceDB", collection: "system.namespaces" }, actions: [ "find" ] }

（2）如果源主机数据库是`admin`，必须确保拥有以下权限：

{  resource: {  db: "admin", collection: "" }, actions: [ "find" ] }
    {  resource: {  db: "admin", collection: "system.js" }, actions: [ "find" ] }
    {  resource: {  db: "admin", collection: "system.users" }, actions: [ "find" ] }
    {  resource: {  db: "admin", collection: "system.roles" }, actions: [ "find" ] }
    {  resource: {  db: "admin", collection: "system.version" }, actions: [ "find" ] }

如果源主机是一台远程主机，必须确保拥有以下权限：

{  resource: {  db: "admin", collection: "system.indexes" }, actions: [ "find" ] }
    {  resource: {  db: "admin", collection: "system.namespaces" }, actions: [ "find" ] }

(3)源数据库在远程主机  
如果从一个拥有用户认证的远程主机复制数据库，需要一个拥有恰当的权限的用户认证。  
目标数据库(todb)：  
A、如果目标主机数据库不是`admin`，必须确保拥有以下权限：

{  resource: {  db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] }
    {  resource: {  db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] }

B、如果目标主机数据库是`admin`，必须确保拥有以下权限：

resource: {  db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] },
    {  resource: {  db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] },
    {  resource: {  db: "myTargetDB", collection: "system.users" }, actions: [ "insert" ] },
    {  resource: {  db: "myTargetDB", collection: "system.roles" }, actions: [ "insert" ] },
    {  resource: {  db: "myTargetDB", collection: "system.version" }, actions: [ "insert" ] }

示例：  
192.168.11.51 mongod实例`mydb`库，  
复制到本地`newmydb`库：

db.copyDatabase("mydb", "newmydb", "192.168.11.52");

1.  `cloneCollection`  
    从远程mongodb实例复制集合到当前`mongodb`实例。集合名称是一致的：

{  cloneCollection: "<namespace>", from: "<hostname>", query: {  <query> } }

`cloneCollection`拥有以下的域值：

`cloneCollection` string 集合的命名空间，命名空间包含了数据库名和集合名的组合  
`from` string 指定远程主机名和可选的端口号  
query document 可选的，过滤选项

示例：  
192.168.11.51 mongod实例mydb库，bar集合：

本地mongod实例:

db.runCommand({ cloneCollection : "mydb.bar", from : "192.168.11.52:27017", query : { "name" : "tiger"}})
    use mydb
    db.bar.find()
    {  "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }

`cloneCollectionAsCapped`可以利用数据库中存在的非`cpped`集合创建出一个新的`capped`集合，操作对原来的集合没有副作用。  
指令的语法：

{ cloneCollectionAsCapped: <existing collection>, toCollection: <capped collection>, size: <capped size> }

新集合名称在数据库中是独一无二的，如果要把一个已经存在的正常集合转变为`cpped`集合，可以使用`convertToCapped`命令，在复制过程中，cloneCollectionAsCapped指令呈现出以下行为:  
mongodb会已自然顺序遍历集合中的文档。  
如果size小于先前集合的尺寸，会以FIFO规则删除早先的文档。  
实例：

db.runCommand({ cloneCollectionAsCapped : "bar", toCollection : "barone", size : 100})
    db.barone.isCapped();
    
    true

1.  `clone`  
    `clone`命令从远程服务器`mongodb`实例复制一个数据库到当前的mongodb实例，形式如下：

{  clone: "db1.example.net:27017" }

需要注意的几点：  
（1）`clone`不能去操作`slave`节点或副本集的非主节点。  
（2）`clone`并不支持数据库快照功能，如果有客户端对数据更新过了，可能造成结果不一致。  
（3）`clone`命令必须运行在目标节点上。  
（4）`clone`过程中，目标主机没有锁定，所以复制过程中可能出现暂时的中断来完成其他操作。

1.  `copydb`  
    从远程主机复制数据库到本地，或从本地复制数据库到远程主机。  
    在本地admin库里运行以下命令语法：

{ copydb: 1,
     fromhost: <hostname>,
     fromdb: <database>,
     todb: <database>,
     slaveOk: <bool>,
     username: <username>,
     nonce: <nonce>,
     key: <key> }

选项：

`fromhost` string 运行mongodb实例的远程源主机，如果是本地可以忽略  
`fromdb` string 源数据库名称  
`todb` string 目标数据库名称  
`slaveOk` boolean 可选的，设置为true，允许从从库复制库  
`username` string 可选的，远程主机的用户名。  
`nonce` string 可选的，远程主机的共享密钥  
`key` string 可选的，远程主机的认证密码哈希

属性：  
（1）`copydb()`运行在目标主机的mongod实例上。  
（2）`copydb()`会创建目标数据库，如果其原来不存在。  
（3）`copydb()`需要目标机器上有足够的空间进行复制。  
（4）`copydb()`并不会产生目标数据库的即时快照。如果在复制过程中在源或目标库发生读写操作，会导致数据库不一致。  
（5）`copydb()`在操作过程中并不会锁住目标主机，所以复制过程中可能出现暂时的中断来完成其他操作。  
mongodb2.6需要在源主机和目标主机拥有以下权限来执行copydb。  
（1）如果源主机数据库不是admin，必须确保拥有以下权限：

{  resource: {  db: "mySourceDB", collection: "" }, actions: [ "find" ] }
    {  resource: {  db: "mySourceDB", collection: "system.js" }, actions: [ "find" ] }

如果源主机是一台远程主机，必须确保拥有以下权限：

{  resource: {  db: "mySourceDB", collection: "system.indexes" }, actions: [ "find" ] }
    {  resource: {  db: "mySourceDB", collection: "system.namespaces" }, actions: [ "find" ] }

（2）如果源主机数据库是admin，必须确保拥有以下权限：

如果源主机是一台远程主机，必须确保拥有以下权限：

{  resource: {  db: "admin", collection: "system.indexes" }, actions: [ "find" ] }
    {  resource: {  db: "admin", collection: "system.namespaces" }, actions: [ "find" ] }

（3）源数据库在远程主机  
如果从一个拥有用户认证的远程主机复制数据库，需要一个拥有恰当的权限的用户认证。  
目标数据库(todb)：  
A、如果目标主机数据库不是admin，必须确保拥有以下权限：

{  resource: {  db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] }
    {  resource: {  db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] }

B、如果目标主机数据库是admin，必须确保拥有以下权限：

认证：  
如果远程主机需要安全认证，则需要使用username,nonce和key进行认证。  
nonce是一个一次性的密码，通过运行copydbgetnonce命令：

use admin
    mynonce = db.runCommand( {  copydbgetnonce : 1, fromhost: <hostname> } ).nonce

如果直接在远程主机运行`copydbgetnonce`命令，可以忽略fromhost选项。  
如下生成一个哈希键：

hex_md5(mynonce + username + hex_md5(username + ":mongo:" + password))

副本集：设置`slaveOk`为`true`，可以在从节点运行`copydb`。  
分片集：不要在mongos实例上运行copydb；不要复制包含分片集合的库。

实例：  
（1）运行在同一主机上的`copydb`

（2）从远程主机复制的`copydb`

db._adminCommand({ 
     copydb : 1,
     fromdb : "mydb",
     todb : "mydbtwo",
     formhost : "192.168.11.52"
    })
    {  "ok" : 1 }

（3）从需要安全验证的远程主机复制的copydb  
远程主机建立用户`test:caoqing/mydb`

use admin
    mynonce = db.runCommand( {  copydbgetnonce : 1, fromhost: "192.168.11.51:27017" } ).nonce
    mykey = hex_md5(mynonce + "test" + hex_md5("test" + ":mongo:" + "caoqing"))
    db._adminCommand({ 
     copydb: 1,
     fromdb: "mydb",
     todb: "mydbthree",
     fromhost: "192.168.11.51",
     username: "test",
     nonce: mynonce,
     key: mykey
    })
    {  "ok" : 1 }