MongoDB数据库的备份与恢复详解

2023-10-29

        本文主要介绍了MongoDB数据库的备份与恢复的知识,包括冷备份、以及备份和恢复两种工具的使用,最后介绍了读扩展式的备份机制,希望能够对您有所帮助。

MongoDB是怎么实现数据的备份与恢复,故障切换以及数据库服务器的负载均衡等功能的呢?本文我们就介绍这些知识。

备份与恢复

在创建MongoDB服务的时候,通过--dbpath指定目录就是存放mongdb数据库文件目录,我们可以通过复制这些文件实现数据库的冷备,但是这种方式不太安全。因此在冷备前,要关闭服务器,这个在第一节中介绍过平滑关闭server的命令。

   
   
  1. >use admin  
  2.  
  3. >db.shutdownServer() 

或者可以通过fsync方式使MongoDB将数据写入缓存中,然后再复制备份

   
   
  1. >use admin  
  2.  
  3. >db.runCommand({"fsync":1,"lock":1}) 

这个时候我往test.foo 插入了一条数据 f:6 ,在执行db.foo.find()后,并没有查到这条记录,说明记录没有直接写入数据库,而是被缓冲到缓存中了。

备份完后,要解锁(防止这个时候停电或其它原因,导致未缓存中的数据丢失)。

   
   
  1. >use admin  
  2.  
  3. >db.$cmd.sys.unlock.findOne()  
  4.  
  5. >db.currentOp()    如果currentOp 只返回{"inprog":[]}结果,说明解锁成功。 

解锁后,缓存中的数据会写入数据库文件中,我们去查询foo结果。

MongoDB数据库的备份与恢复详解

上面是冷备的方式,我们可以在不停止服务的情况下,使用MongoDB提供的两个工具来实现备份和恢复。这个两个工具在MongoDB的bin目录下可以看到:mongodump.exe/mongorestor.exe

mongodump.exe备份的原理是通过一次查询获取当前服务器快照,并将快照写入磁盘中,因此这种方式保存的也不是实时的,因为在获取快照后,服务器还会有数据写入,为了保证备份的安全,同样我们还是可以利用fsync锁使服务器数据暂时写入缓存中。

备份命令:

   
   
  1. ......bin>mongodump -d test -o backup            //( backup是备份目录,默认创建到bin目录) 

恢复命令: (可以在恢复前往foo表插入一条记录 g:7)

   
   
  1. .....bin>mongorestore -d test --drop backup/test/ 

看一下运行结果:

MongoDB数据库的备份与恢复详解

以上就是mongodb的备份和恢复过程。当数据库文件出现问题或者损坏时,MongoDB还提供了修复数据文件的命令。

在启动mongod服务时通过--repair 修改:

   
   
  1. ....bin>mongod --dbpath "C:\Program Files\mongodb\data\dbs\master"  --repair  

另外我们也可以在mongo shell 中修复正在运行的数据库存

   
   
  1. >use test  
  2.  
  3. >db.repairDataBase() 

接下来我们在来看一下另外二种读扩展式的备份机制。

Master-Slave

主从复制模式:即一台主写入服务器,多台从备份服务器。从服务器可以实现备份,和读扩展,分担主服务器读密集时压力,充当查询服务器。但是主服务器故障时,我们只能手动去切换备份服务器接替主服务器工作。这种灵活的方式,使扩展多如备份或查询服务器相对比较容易,当然查询服务器也不是无限扩展的,因为这些从服务器定期在轮询读取主服务器的更新,当从服务器过多时反而会对主服务器造成过载。

我们以之前创建的端口为27017做为主服务器,再创建个端口为27018从服务器

重新启动27017为主服务器 --master 主服务器

   
   
  1. ....bin>mongod  --dbpath "C:\Program Files\mongodb\data\dbs\master" --master 

创建27018为从服务器  --slave 从服务器  --source 指定主服务器

   
   
  1. ....bin>mongod --port 27018 --dbpath "C:\Program Files\mongodb\data\dbs\slave27018"   --slave --source localhost:27017 

主服务器可以通过自己local库的slave集合查看从服务器列表

从服务器可以通过自己local库的source集合查看主服务器信息或维护多个主服务器。 (一个slave服务器可以服务多个master服务器)

或者我们可以通过http console查看状态

Replica Sets

副本集模式:具有Master-Slave模式所有特点,但是副本集没有固定的主服务器,当初始化的时候会通过多个服务器投票选举出一个主服务器。当主服务器故障时会再次通过投票选举出新的主服务器,而原先的主服务器恢复后则转为从服务器。Replica Sets的在故障发生时自动切换的机制可以极时保证写入操作。

创建多个副本集节点 --replSet   (注意要区分大小写,官方建议命名空间使用IP地址)

   
   
  1. ....bin>mongod --dbpath "C:\Program Files\mongodb\data\dbs\replset27017"   --port 27017 --replSet replset/127.0.0.1:27018  
  2.  
  3. ....bin>mongod --dbpath "C:\Program Files\mongodb\data\dbs\replset27018"   --port 27018 --replSet replset/127.0.0.1:27017  
  4.  
  5. ....bin>mongod --dbpath "C:\Program Files\mongodb\data\dbs\replset27019"   --port 27019 --replSet replset/127.0.0.1:27017 

首先建立3个是为了投票不会冲突,当服务器为偶数时可能会导致无法正常选举出主服务器。

其次上面3个replset 节点没有全部串联起来,是因为replset 有自检测功可以自动搜索连接其它服务器。

完成上面的工作后,要初始化副本集,随便连接一台服务器执行以下命令 (priority 0~1,被选为主服务器的优先级)

   
   
  1. >use admin  
  2.  
  3. >db.runCommand(  
  4.  
  5. {"replSetInitiate":{  
  6.  
  7.  "_id":"replset",  
  8.  
  9.  "members":[  
  10.  
  11. {  
  12.  
  13. "_id":1,  
  14.  
  15. "host":"127.0.0.1:27017",  
  16.  
  17. "priority":1  
  18.  
  19. },  
  20.  
  21. {  
  22.  
  23. "_id":2,  
  24.  
  25. "host":"127.0.0.1:27018",  
  26.  
  27. "priority":1  
  28.  
  29. },  
  30.  
  31. {  
  32.  
  33. "_id":3,  
  34.  
  35. "host":"127.0.0.1:27019",  
  36.  
  37. "priority":1  
  38.  
  39. }]}}  
  40.  

查看结果,可以看出127.0.0.1:27017 被自动选为replSet:Primary>

MongoDB数据库的备份与恢复详解

在增加一个从服务器节点

   
   
  1. ....bin>mongod --dbpath "C:\Program Files\mongodb\data\dbs\replset27020" --port 27020 --replSet replset/127.0.0.1:27017 

通过rs.add命令往system.replset添加新的从服务器成员

   
   
  1. rs.add("127.0.0.1:27020");   或者rs.add({"_id":4,"host":"127.0.0.1:27020"})  

这里在简单的介绍一下Master Slave/ Replica Sets 备份机制,这两种模式都是基于主服务器的oplog 来实现所有从服务器的同步。

oplog记录了增删改操作的记录信息(不包含查询的操作),但是oplog有大小限制,当超过指定大小,oplog会清空之前的记录,重新开始记录。

Master Slave方式主服备器会产生 oplog.$main 的日志集合。

Replica Sets  方式 所有服务器都会产生oplog.rs 日志集合。

两种机制下,所有从服务器都会去轮询主服务器oplog日志,若主服务器的日志较新,就会同步这些新的操作记录。但是这里有个很重要的问题,从服务器由于网络阻塞,死机等原因无法极时同步主服务器oplog记录:一种情况 主服务器oplog不断刷新,这样从服务器永远无法追上主服务器。另外一种情况,刚好主服务器oplog超出大小,清空了之前的oplog,这样从服务器就与主服务器数据就可能会不一致了,这第二种情况,我是推断的,没有证实。

另外要说明一下Replica Sets 备份的缺点,当主服务器发生故障时,一台从服务器被投票选为了主服务器,但是这台从服务的oplog 如果晚于之前的主服务器oplog的话,那之前的主服务器恢复后,会回滚自己的oplog操作和新的主服务器oplog保持一致。由于这个过程是自动切换的,所以在无形之中就导致了部分数据丢失。

关于MongoDB备份与恢复的知识就介绍到这里了,希望能够带给您收获。

【编辑推荐】

  1. MongoDB数据缓存刷新机制
  2. MongoDB中索引的创建和使用详解
  3. MongoDB之父:MongoDB胜过BigTable
  4. MongoDB权限管理之用户名和密码的操作
  5. MongoDB基于Java、PHP的一般操作和用户安全设置
【责任编辑: 赵鹏 TEL:(010)68476606】

原文:http://database.51cto.com/art/201107/278632.htm

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

MongoDB数据库的备份与恢复详解 的相关文章

  • mongodump“失败:错误选项:只能将单个集合转储到标准输出”

    mongodump out 不起作用 它给了我这条消息 失败 错误的选项 只能将单个集合转储到标准输出 会发生什么 因此 例外是不言自明的 如果您使用 out 它只能在标准输出上显示单个集合 所以我想知道你想达到什么目标 如果你想输出一个特
  • 如何 $filter where 条件与数组匹配?

    在 lookup 之后 我将得到一个名为 lastViewed 的连接 如下所示 id 5955ea4fd8099718330ab191 lastViewed id ObjectId 595218a7d346d27fb0bc1705 use
  • 如何在 C# 中为 mongodb 文档的条目使用不同的名称?

    我正在尝试对以下文档进行 CRUD 操作MongoDB and C 我希望在 C 中使用具有长有意义的属性名称的固定结构化域实体 但由于每个属性的名称将保存在每个文档的 MongoDB 中 所以这不是一个好主意 这是因为属性名称将被冗余地保
  • MongoDB + Neo4J vs OrientDB vs ArangoDB [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我目前正处于 MMO 浏览器游戏的设计阶段 游戏将包括一些实时位置的图块地图 因此每个单元格的图块数据 和通用世界地图 我更喜欢使用 Mongo
  • 如何查看MongoDB当前配置

    我找到了不同的文档配置选项 http docs mongodb org manual administration configuration 但是如何检查实时系统上正在使用哪些选项 有没有办法查看设置了哪些选项 或者至少正在使用哪个配置文
  • 将包含 sum 和 group_concat 的 mysql 查询转换为 mongodb 查询

    我想将下面的 mysql 查询转换为 mongodb 查询 SELECT substring o schedule datetime 1 4 Year SUM IF o order status in SUCCESS SUCCESS 1 0
  • 如何在docker compose中运行mongodb副本集

    我尝试在我的 Mac 中使用 mongodb community 在本地运行 mongodb 副本集MongoDB 文档 https docs mongodb com manual tutorial convert standalone t
  • Meteor 独特客户端集合的发布/订阅策略

    使用 Meteor 我想知道如何最好地处理共享相同服务器端数据库集合的不同客户端集合 考虑以下示例 我有一个User集合 在我的客户端我有一个好友用户列表我有一个搜索功能 可以对整个用户数据库执行查询 返回一个与查询匹配的用户名列表 在发布
  • Mongodb 聚合使用 $group 两次

    我在 mongo 中有一堆文档 其结构如下 id number 2 colour id name Green hex 00ff00 position id name Defence type position ageGroup id nam
  • 查找聚合中的管道在 mongodb 中不起作用

    我是 mongodb 的新手 所以我希望这不会成为一个非常基本的问题 我做了一些研究 并试图应用我所发现的东西 但有些东西似乎让我忽略了 我有两个以下格式的集合 Shop shopId 1002 shopPosId 10002 descri
  • 在节点中使用mongoosejs更新多条记录

    我在使用 mongoosejs 和 Node js 更新多个记录时遇到问题 由于某种原因 即使有多个匹配 我也只更新一条记录 我还注意到回调在 update 之后不会触发 我没有收到任何错误消息 这里发生了什么 Page find stat
  • 猫鼬模式创建

    我刚刚开始使用猫鼬 我有一个使用 mongoose 的创建脚本 它使用示例数据创建模式和数据库 现在我编写实际的应用程序 我是否需要在每次应用程序运行时创建架构对象 或者它是否已经以某种方式可用 换句话说 我是否需要在每个使用 mongoo
  • Mongoose 多个连接

    目前我的连接有这个代码猫鼬 js var mongoose require mongoose var uriUtil require mongodb uri var mongodbUri mongodb localhost db name
  • mongodb在windows下无法启动?

    当我尝试在命令行上使用命令 mongod exe 启动 mongodb 时 它会抛出以下错误 C mongodb win32 x86 64 2 0 6 bin gt mongod exe mongod exe help for help a
  • Mongodb upsert 嵌入文档

    我每天每米有一份文件 如果它不存在 如何在数据数组中添加另一个子文档并创建整个文档 key 20120418 123456789 data Meter 123456789 Dt ISODate 2011 12 29T16 00 00 0Z
  • 为什么使用 MongoDB 的 $push 向数组添加新对象时会添加带有 ObjectID 的 _id ?

    我正在使用 Node js 和 Mongoose 玩家和锦标赛变量是之前获取的 Mongoose 对象 我想将一个新的tournamentSession对象 不是Mongoose对象 添加到玩家对象的tournamentSessions字段
  • Windows 7 机器上的 MongoDB:无法建立连接

    在 Windows 7 机器上使用 mongod exe 启动 Mongo 后 我尝试启动 mongo shell 但失败并出现以下错误 无法连接到 127 0 0 1 27017 原因 errno 10061 否 由于目标机器主动拒绝而无
  • Mongodb 数据库上的 SASL 身份验证失败

    我在尝试使用 PHP Mongodb 驱动程序连接到 Mongodb 时遇到问题 实际上我有一个名为 LRS 的数据库 它有一个名为 juano 的用户 在我的设置文件中带有密码 12345 我确信我编写了正确的配置 但是当我在 Larav
  • 为 Meteor 数据创建编号列表

    有没有办法获取 Meteor 集合中项目的编号列表的 编号 我知道我可以在 html 中做到这一点 但我觉得如果我可以在 spacebars 中放置一些东西 那么样式会更容易 如果我可以使用更好的术语 请告诉我 像这样的东西 前 20 部电
  • 使用 Tweepy 获取推文时出错

    我有一个用于获取推文的 Python 脚本 在脚本中我使用该库 Tweepy 我使用有效的身份验证参数 运行此脚本后 一些推文存储在我的 MongoDB 中 有些则被 if 语句拒绝 但我仍然收到错误 requests packages u

随机推荐