Mongodb日志原理和操作
创新互联建站秉承实现全网价值营销的理念,以专业定制企业官网,成都做网站、成都网站设计,微信平台小程序开发,网页设计制作,移动网站建设,营销型网站帮助传统企业实现“互联网+”转型升级专业定制企业官网,公司注重人才、技术和管理,汇聚了一批优秀的互联网技术人才,对客户都以感恩的心态奉献自己的专业和所长。
日志原理:
WiredTiger使用检查点在磁盘上提供一致性数据视图,并允许MongoDB从上一个检查点恢复。 但是,如果MongoDB在检查点之间意外退出,则需要使用日志记录来恢复上次检查点之后发生的信息。
通过日志记录,恢复过程如下:
查看数据文件以查找上一个检查点的标识符。
在日志文件中搜索与上一个检查点的标识符相匹配的记录。
自上次检查点以来,在日志文件中应用这些操作。
MongoDB WiredTiger 首先使用内存缓冲来存储日志记录,直到超过128 kB,才写入磁盘。根据以下时间间隔或条件,WiredTiger将缓冲的日记记录同步到磁盘:
3.2版新增功能:每50毫秒。
版本3.6中:MongoDB 设置检查点以60秒的间隔执行。
如果写入操作包含 j:true 的写入指令,则WiredTiger会强制WiredTiger日志文件同步。
由于MongoDB使用的日志文件大小限制为100 MB,WiredTiger大约每隔100 MB创建一个新的日志文件。当WiredTiger创建新的日志文件时,WiredTiger将同步前一个日志文件。
注意: 在写操作之间,当日志记录保留在WiredTiger缓冲区中时,在mongod强制关闭时更新可能会丢失。
日志方式:
- 不开启 journal ,写入 wiredtiger 的数据,并不会立即持久化存储;而是每分钟会做一次全量的checkpoint( storage.syncPeriodSecs 配置项,默认为1分钟),将所有的数据持久化。
- 开启 journal 后 ,每次写入会记录一条操作日志(通过journal可以重新构造出写入的数据)。这样即使出现宕机,启动时 Wiredtiger 会先将数据恢复到最近的一次checkpoint的点,然后重放后续的 journal 操作日志来恢复数据。
MongoDB 里的 journal 行为 主要由2个参数控制, storage.journal.enabled 决定是否开启journal, storage.journal.commitInternalMs 决定 journal 刷盘的间隔( journal操作的最大间隔时间。可以是2-300ms之间的值,低的值有助于持久化,但是会增加磁盘的额外负担。
如果journal和数据文件在同一磁盘上,默认为100ms。如果在不同的磁盘上为30ms。
如果强制mongod提交日志文件,可以指定j:true,指定后,时间变为原来的三分之一 ),默认为100ms,用户也可以通过写入时指定 writeConcern 为 {j: ture} 来每次写入时都确保 journal 刷盘。
日志切换:
use admin
db.runCommand( { logRotate : 1 } )
后者:
1 3 * * * killall -SIGUSR1 mongod
3 3 * * * killall -SIGUSR1 mongos
15 3 * * * /usr/bin/find /data/mongodb/data/prod_shard2_1/log/ -name "mongodb.log.*" -mtime +30 -exec rm -fr {} \;
19 3 * * * /usr/bin/find /data/mongodb/data/prod_configdb2/log/ -name "mongodb.log.*" -mtime +30 -exec rm -fr {} \;
21 3 * * * /usr/bin/find /data/mongodb/data/prod_mongos/log/ -name "mongodb.log.*" -mtime +30 -exec rm -fr {} \;
日志级别在配置文件中的加入:
use admin
db.runCommand( {
setParameter: 1,
logComponentVerbosity: {
verbosity: 1,
query: {
verbosity: 2
},
storage: {
verbosity: 2,
journal: {
verbosity: 1
}
}
}
} )
或者:
verbose&&quiet
mongodb默认情况下日志文件非常大,每秒都会记录大量的connection等调试信息,这对于我们管理日志和定位 错误有很大影响,需要修改它的默认日志级别。
mongodb的日志级别在配置文件中的verbose和quiet参数决定。verbose表示会打印debug信息,范例配置如下
verbose=true
vv=true
注:这里的vv表示debug级别,有vv-vvvvv,v越多则记录的日志信息越详细。
而如果设置了quiet=true参数,表示安静地输出,即不会再有debug信息,日志中只会打印一些关键的信息,比如 自动故障切换,系统错误等信息,相当于error log。这时需要注释掉verbose参数。范例配置如下:
#verbose=true
quiet=true
名称栏目:Mongodb日志原理和操作
标题路径:http://ybzwz.com/article/pesioe.html