91香蕉国产在线观看免费永久挖 ,人妻丰满av无码中文字幕

1. 基本概念

oplog使用固定大小集合記錄了數(shù)據(jù)庫(kù)中所有修改操作的操作日志(新增、修改和刪除，無(wú)查詢(xún))，mongodb收到修改請(qǐng)求后，先在主節(jié)點(diǎn)（Primary）執(zhí)行請(qǐng)求，再把操作日志保存到oplog表中，其他從節(jié)點(diǎn)（Secondary）到主節(jié)點(diǎn)拉取oplog并在異步進(jìn)程中應(yīng)用這些操作，從而達(dá)到主從數(shù)據(jù)的一致性。復(fù)制組內(nèi)的所有節(jié)點(diǎn)都會(huì)保存一份oplog(集合名local.oplog.rs)，這讓他們可以保持同樣的數(shù)據(jù)庫(kù)狀態(tài)。

為了提高同步效率，所有復(fù)制組成員都會(huì)向其他成員發(fā)送?；顖?bào)文(pings)，任意從節(jié)點(diǎn)可以從其他成員節(jié)點(diǎn)同步oplog（即可以從主節(jié)點(diǎn)同步，也可以從從節(jié)點(diǎn)同步）。oplog中的操作都是冪等的，即oplog中的某個(gè)操作日志在目標(biāo)數(shù)據(jù)庫(kù)中應(yīng)用一次或者多次，其結(jié)果都是一樣的。

主從同步示意圖如下(客戶(hù)端寫(xiě)數(shù)據(jù)到主節(jié)點(diǎn)，從節(jié)點(diǎn)從主節(jié)點(diǎn)同步oplog并應(yīng)用到本節(jié)點(diǎn))：

2. Oplog 的默認(rèn)儲(chǔ)存大小

當(dāng)你首次啟動(dòng)復(fù)制組節(jié)點(diǎn)時(shí)，在你未指定oplog大小時(shí)，mongodb會(huì)使用默認(rèn)大小來(lái)創(chuàng)建oplog。

對(duì)于Unix和Windows系統(tǒng)來(lái)說(shuō)，默認(rèn)大小和存儲(chǔ)引擎的對(duì)應(yīng)關(guān)系如下：

存儲(chǔ)引擎類(lèi)型	oplog大小	下限	上限
內(nèi)存	物理內(nèi)存的5%	50MB	50GB
WiredTiger	空閑磁盤(pán)的5%	990MB	50GB

(注意，最新4.4版本的mongodb移除了MMAP類(lèi)型存儲(chǔ)引擎的支持。)

對(duì)于64位maxOS系統(tǒng)來(lái)說(shuō)，參照使用的存儲(chǔ)引擎類(lèi)型，該默認(rèn)大小是192MB（物理內(nèi)存或者磁盤(pán)空間），如下：

存儲(chǔ)引擎類(lèi)型	oplog大小
內(nèi)存	192MB物理內(nèi)存
WiredTiger	192MB的磁盤(pán)空間

大部分情況下，oplog的默認(rèn)大小是足夠的。舉個(gè)例子，如果5%的磁盤(pán)空間存儲(chǔ)了最近24小時(shí)的操作日志，此時(shí)如果某個(gè)從節(jié)點(diǎn)的日志同步時(shí)間差超過(guò)24小時(shí)時(shí)，從節(jié)點(diǎn)將停止同步oplog，并將自身的狀態(tài)從“Secondery”切換到“STALE”。當(dāng)然，在實(shí)際的運(yùn)行環(huán)境中，大部分復(fù)制組成員的負(fù)載會(huì)低一些，他們的oplog中也會(huì)持有更長(zhǎng)時(shí)間段的日志。

3. 可能需要更大oplog的工作負(fù)載

如果你預(yù)測(cè)到你的復(fù)制組的工作負(fù)載屬于以下的模式，你需要?jiǎng)?chuàng)建比默認(rèn)值更大一些的oplog。相反的，如果你的應(yīng)用大部分情況下是讀操作，只有小部分的寫(xiě)操作，那么更小一些的oplog也是滿(mǎn)足需要的。

下面的工作負(fù)載可能需要更大一些的oplog

單次操作會(huì)更新多條記錄

為了滿(mǎn)足oplog的冪等性，單次操作更新多條記錄時(shí)，mongodb會(huì)記錄多條操作日志到oplog中，這種場(chǎng)景就需要使用大量的oplog的空間，雖然此時(shí)數(shù)據(jù)大小或者磁盤(pán)大小并沒(méi)有相應(yīng)的增加那么多。

刪除操作和插入操作一樣多時(shí)

如果你的刪除操作請(qǐng)求量和插入操作的請(qǐng)求量大致相當(dāng)時(shí)，數(shù)據(jù)庫(kù)在磁盤(pán)空間消耗方面不會(huì)有明顯增長(zhǎng)，但是操作日志的大小會(huì)非常巨大。

顯著數(shù)量的原文檔更新

如果工作負(fù)載的大部分操作都是原文檔更新，此時(shí)雖然不會(huì)增加數(shù)據(jù)庫(kù)中文檔的數(shù)量，但是數(shù)據(jù)庫(kù)需要記錄大量的操作日志。

4. Oplog狀態(tài)

如果要查看oplog的狀態(tài)，包含記錄條數(shù)和時(shí)間范圍，可以使用"rs.printReplicationInfo() "命令，如下：

MongoDB Enterprise repa:PRIMARY> rs.printReplicationInfo()
configured oplog size:   1024MB  // oplog大小是1024MB
log length start to end: 867353secs (240.93hrs)  // 第一條和最后一條日志的時(shí)間差是240.93小時(shí)
oplog first event time:  Wed Jul 07 2021 20:24:57 GMT+0800
oplog last event time:   Sat Jul 17 2021 21:20:50 GMT+0800
now:                     Sat Jul 17 2021 21:20:56 GMT+0800

5. Oplog格式

從前面知道oplog是存儲(chǔ)在數(shù)據(jù)庫(kù)local中，表名為“oplog.rs”，通過(guò)查詢(xún)命令看一下oplog的數(shù)據(jù)格式：

db.oplog.rs.find({"ns":"test.users"}).limit(1)   // ns字段指明查詢(xún)對(duì)數(shù)據(jù)庫(kù)test中users表的操作日志
{
    "ts": Timestamp(1625660877, 2),     // 日志的操作時(shí)間戳，第一個(gè)數(shù)字是時(shí)間戳，單位秒，第二個(gè)數(shù)字是當(dāng)前秒的第2個(gè)操作
    "t": NumberLong(2),
    "h": NumberLong("5521980394145765083"),
    "v": 2,
    "op": "i",            // i表示insert，u表示update,d表示delete，c 表示的是數(shù)據(jù)庫(kù)的命令，比如建表,n表示noop,即空操作
    "ns": "test.users",   // 命名空間，即數(shù)據(jù)庫(kù)和集合名稱(chēng)
    "ui": UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), // 連接到mongodb的客戶(hù)端會(huì)話(huà)id
    "wall": ISODate("2021-07-07T12:27:57.689Z"),  // 操作執(zhí)行時(shí)間，utc時(shí)間
    "o": {        // 操作的內(nèi)容，對(duì)于不同的op類(lèi)型，其格式不盡相同
        "_id": ObjectId("60e59dcd46db1fb4605f8b18"),
        "name": "1"
    }
}

6. CUD操作和Oplog的對(duì)應(yīng)關(guān)系

前面分析oplog日志格式的時(shí)候，查看了一條insert操作對(duì)應(yīng)的日志，就不再贅述，下面再看下delete和update對(duì)應(yīng)的日志格式(find不會(huì)產(chǎn)生oplog)。

delete操作

首先插入三條記錄：

MongoDB Enterprise repa:PRIMARY> use testswitched to db testMongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"張三","age":NumberInt(10),"sex":"男"})WriteResult({ "nInserted" : 1 })MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"李四","age":NumberInt(11),"sex":"男"})WriteResult({ "nInserted" : 1 })MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"王五","age":NumberInt(12),"sex":"男"})WriteResult({ "nInserted" : 1 })MongoDB Enterprise repa:PRIMARY> db.users.find(){ "_id" : ObjectId("60f2e11b0d98dc3b374199de"), "name" : "張三", "age" : 10, "sex" : "男" }{ "_id" : ObjectId("60f2e11e0d98dc3b374199df"), "name" : "李四", "age" : 11, "sex" : "男" }{ "_id" : ObjectId("60f2e11e0d98dc3b374199e0"), "name" : "王五", "age" : 12, "sex" : "男" }

執(zhí)行delete操作，匹配條件是{"sex":"男"}，即刪除所有性別為男的記錄：

MongoDB Enterprise repa:PRIMARY> db.users.remove({"sex":"男"})
WriteResult({ "nRemoved" : 3 })
MongoDB Enterprise repa:PRIMARY> db.users.find()
MongoDB Enterprise repa:PRIMARY>

可以看到，一條刪除命令刪除了三條記錄，對(duì)應(yīng)的oplog是什么呢，來(lái)，查一下：

MongoDB Enterprise repa:PRIMARY> use local
switched to db local
MongoDB Enterprise repa:PRIMARY> db.oplog.rs.find({"ns":"test.users","op":"d","wall":{"$gt":ISODate("2021-07-17T13:50:57.689Z")}})
{ "ts" : Timestamp(1626530154, 1), "t" : NumberLong(2), "h" : NumberLong("5834731856459959506"), "v" : 2, "op" : "d", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "wall" : ISODate("2021-07-17T13:55:54.424Z"), "o" : { "_id" : ObjectId("60f2e11b0d98dc3b374199de") } }
{ "ts" : Timestamp(1626530154, 2), "t" : NumberLong(2), "h" : NumberLong("-2164276082472824844"), "v" : 2, "op" : "d", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "wall" : ISODate("2021-07-17T13:55:54.424Z"), "o" : { "_id" : ObjectId("60f2e11e0d98dc3b374199df") } }
{ "ts" : Timestamp(1626530154, 3), "t" : NumberLong(2), "h" : NumberLong("3834858247238363179"), "v" : 2, "op" : "d", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "wall" : ISODate("2021-07-17T13:55:54.424Z"), "o" : { "_id" : ObjectId("60f2e11e0d98dc3b374199e0") } }
MongoDB Enterprise repa:PRIMARY>

從上可以看到，一條刪除命令，在oplog中記錄了三條日志，下面分析其中的一條：

{
    "ts": Timestamp(1626530154, 1),
    "t": NumberLong(2),
    "h": NumberLong("5834731856459959506"),
    "v": 2,
    "op": "d",   // 刪除操作
    "ns": "test.users",  // 數(shù)據(jù)庫(kù)是test，集合是users
    "ui": UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"),
    "wall": ISODate("2021-07-17T13:55:54.424Z"),
    "o": {     // 待刪除記錄的_id
        "_id": ObjectId("60f2e11b0d98dc3b374199de")
    }
}

從上面日志分析可以得到結(jié)論：

用戶(hù)的一次刪除請(qǐng)求，如果刪除了N條記錄，那么oplog中將記錄N條日志，日志中會(huì)記錄待刪除記錄的“_id”字段，與用戶(hù)的刪除請(qǐng)求的參數(shù)無(wú)關(guān)。

update操作

下面再看下更新操作對(duì)應(yīng)的oplog的日志數(shù)量和格式。

首先插入三條記錄：

MongoDB Enterprise repa:PRIMARY> use test
switched to db test
MongoDB Enterprise repa:PRIMARY>
MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"張三","age":NumberInt(10),"sex":"男"})
WriteResult({ "nInserted" : 1 })
MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"李四","age":NumberInt(11),"sex":"男"})
WriteResult({ "nInserted" : 1 })
MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"王五","age":NumberInt(12),"sex":"男"})
WriteResult({ "nInserted" : 1 })
MongoDB Enterprise repa:PRIMARY> db.users.find()
{ "_id" : ObjectId("60f2e2db0d98dc3b374199e1"), "name" : "張三", "age" : 10, "sex" : "男" }
{ "_id" : ObjectId("60f2e2db0d98dc3b374199e2"), "name" : "李四", "age" : 11, "sex" : "男" }
{ "_id" : ObjectId("60f2e2dc0d98dc3b374199e3"), "name" : "王五", "age" : 12, "sex" : "男" }

再執(zhí)行更新操作：

MongoDB Enterprise repa:PRIMARY> db.users.update({"sex":"男"},  {"$inc":{"age":NumberInt(1)}}, false, true)
WriteResult({ "nMatched" : 3, "nUpserted" : 0, "nModified" : 3 })
MongoDB Enterprise repa:PRIMARY> db.users.find()  
{ "_id" : ObjectId("60f2e2db0d98dc3b374199e1"), "name" : "張三", "age" : 11, "sex" : "男" }
{ "_id" : ObjectId("60f2e2db0d98dc3b374199e2"), "name" : "李四", "age" : 12, "sex" : "男" }
{ "_id" : ObjectId("60f2e2dc0d98dc3b374199e3"), "name" : "王五", "age" : 13, "sex" : "男" }

從返回結(jié)果可以看到，更新操作執(zhí)行成功，并更新了三條記錄，下面看下oplog的日志：

MongoDB Enterprise repa:PRIMARY> use local
switched to db local
MongoDB Enterprise repa:PRIMARY> db.oplog.rs.find({"ns":"test.users","op":"u","wall":{"$gt":ISODate("2021-07-17T13:50:57.689Z")}})
{ "ts" : Timestamp(1626530575, 1), "t" : NumberLong(2), "h" : NumberLong("-6359278368726841648"), "v" : 2, "op" : "u", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "o2" : { "_id" : ObjectId("60f2e2db0d98dc3b374199e1") }, "wall" : ISODate("2021-07-17T14:02:55.319Z"), "o" : { "$v" : 1, "$set" : { "age" : 11 } } }
{ "ts" : Timestamp(1626530575, 2), "t" : NumberLong(2), "h" : NumberLong("-4351658862590633053"), "v" : 2, "op" : "u", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "o2" : { "_id" : ObjectId("60f2e2db0d98dc3b374199e2") }, "wall" : ISODate("2021-07-17T14:02:55.319Z"), "o" : { "$v" : 1, "$set" : { "age" : 12 } } }
{ "ts" : Timestamp(1626530575, 3), "t" : NumberLong(2), "h" : NumberLong("5911110003695351597"), "v" : 2, "op" : "u", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "o2" : { "_id" : ObjectId("60f2e2dc0d98dc3b374199e3") }, "wall" : ISODate("2021-07-17T14:02:55.319Z"), "o" : { "$v" : 1, "$set" : { "age" : 13 } } }

和delete類(lèi)似，update操作也是產(chǎn)生了三條日志，選第一條分析：

{
    "ts": Timestamp(1626530575, 1),
    "t": NumberLong(2),
    "h": NumberLong("-6359278368726841648"),
    "v": 2,
    "op": "u",   // 更新操作
    "ns": "test.users",  // 數(shù)據(jù)庫(kù)test，集合是users
    "ui": UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"),
    "o2": {  // 更新操作的查詢(xún)條件，使用的記錄的_id
        "_id": ObjectId("60f2e2db0d98dc3b374199e1")
    },
    "wall": ISODate("2021-07-17T14:02:55.319Z"),
    "o": {  // 更新操作的更新內(nèi)容，原始的inc操作符轉(zhuǎn)變?yōu)閟et操作符，可以滿(mǎn)足冪等性
        "$v": 1,
        "$set": {
            "age": 11
        }
    }
}

從上面日志分析可以得到結(jié)論：

用戶(hù)的一次更新請(qǐng)求，如果更新了N條記錄，那么oplog中將記錄N條日志，日志中記錄待更新記錄的“_id”字段為查詢(xún)條件，更新操作使用的是set操作符，并不是用戶(hù)的更新操作符。

小結(jié)

從上面的delete和update操作對(duì)應(yīng)的oplog日志分析可以看出，oplog記錄的不是用戶(hù)的原始命令，而是對(duì)應(yīng)的邏輯命令，通過(guò)這種方式可以滿(mǎn)足oplog的冪等性，但是也會(huì)衍生出可能產(chǎn)生大量oplog記錄的問(wèn)題，需要用戶(hù)根據(jù)業(yè)務(wù)模型的需要，來(lái)選擇合適的oplog大小。

https://github.com/tomliugen

總結(jié)

到此這篇關(guān)于mongodb中oplog介紹和格式詳析的文章就介紹到這了,更多相關(guān)mongodb oplog和格式內(nèi)容請(qǐng)搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站！

美國(guó)服務(wù)器租用

版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。

相關(guān)文章

mysql學(xué)習(xí)筆記之表的基本操作

centos編譯安裝mysql 5.6及安裝多個(gè)mysql實(shí)例詳解

mysql 5.7.11 winx64.zip安裝配置方法圖文教程

mysql 5.7.17 winx64.zip安裝配置方法圖文教程

CentOS安裝mysql5.7 及簡(jiǎn)單配置教程詳解

MySQL 5.7 zip版本(zip版)安裝配置步驟詳解

MySQL5.6.31 winx64.zip 安裝配置教程詳解

MySQL注入繞開(kāi)過(guò)濾的技巧總結(jié)

一次Mysql死鎖排查過(guò)程的全紀(jì)錄

Windows10 64位安裝MySQL5.6.35的圖文教程