淺談Redis對于過期鍵的三種清除策略
對于過期鍵一般有三種刪除策略
- 定時(shí)刪除:在設(shè)置鍵的過期時(shí)間的同時(shí),創(chuàng)建一個(gè)定時(shí)器(timer),讓定時(shí)器在鍵的過期時(shí)間來臨時(shí),立即執(zhí)行對鍵的刪除操作;
- 惰性刪除:放任鍵過期不管,但是每次從鍵空間中獲取鍵時(shí),都檢查取得的鍵是否過期,如果過期的話,就刪除該鍵;如果沒有過期,那就返回該鍵;
- 定期刪除:每隔一段時(shí)間,程序就對數(shù)據(jù)庫進(jìn)行一次檢查,刪除里面的過期鍵。至于刪除多少過期鍵,以及要檢查多少個(gè)數(shù)據(jù)庫,則由算法決定。
?下面我們來看看三種策略的優(yōu)缺比較:
- 定時(shí)刪除策略對內(nèi)存是最友好的:通過使用定時(shí)器,定時(shí)刪除策略可以保證過期鍵會盡可能快地被刪除,并釋放過期鍵所占用的內(nèi)存;但另一方面,定時(shí)刪除策略的缺點(diǎn)是,他對CPU是最不友好的:在過期鍵比較多的情況下,刪除過期鍵這一行為可能會占用相當(dāng)一部分CPU時(shí)間,在內(nèi)存不緊張但是CPU時(shí)間非常緊張的情況下,將CPU時(shí)間用在刪除和當(dāng)前任務(wù)無關(guān)的過期鍵上,無疑會對服務(wù)器的響應(yīng)時(shí)間和吞吐量造成影響;
- 惰性刪除策略對CPU時(shí)間來說是最友好的:程序只會在取出鍵時(shí)才對鍵進(jìn)行過期檢查,這可以保證刪除過期鍵的操作只會在非做不可的情況下進(jìn)行;惰性刪除策略的缺點(diǎn)是,它對內(nèi)存是最不友好的:如果一個(gè)鍵已經(jīng)過期,而這個(gè)鍵又仍然保留在數(shù)據(jù)庫中,那么只要這個(gè)過期鍵不被刪除,它所占用的內(nèi)存就不會釋放;
- 定時(shí)刪除占用太多CPU時(shí)間,影響服務(wù)器的響應(yīng)時(shí)間和吞吐量;惰性刪除浪費(fèi)太多內(nèi)存,有內(nèi)存泄漏的危險(xiǎn)。定期刪除策略是前兩種策略的一種整合和折中:
- 定期刪除策略每隔一段時(shí)間執(zhí)行一次刪除過期鍵操作,并通過限制刪除操作執(zhí)行的時(shí)長和頻率來減少刪除操作對CPU時(shí)間的影響;
- 通過定期刪除過期鍵,定期刪除策略有效地減少了因?yàn)檫^期鍵而帶來的內(nèi)存浪費(fèi);
- 定期刪除策略的難點(diǎn)是確定刪除操作執(zhí)行的時(shí)長和頻率。
Pre
Redis-17Redis內(nèi)存回收策略
Redis Key的超時(shí)設(shè)置處理
expire key seconds
單位是秒。返回1成功,0表示key已經(jīng)設(shè)置過過期時(shí)間或者不存在。 如果想消除超時(shí)則使用persist key。如果希望采用絕對超時(shí),則使用expireat命令。
ttl key
返回設(shè)置過過期時(shí)間的key的剩余過期秒數(shù) -1表示沒有設(shè)置過過期時(shí)間,對于不存在的key,返回-2。
pexpire key 毫秒數(shù)
設(shè)置生命周期。
pttl key
以毫秒返回生命周期。
被動(dòng)刪除
當(dāng)讀/寫一個(gè)已經(jīng)過期的key時(shí),會觸發(fā)惰性刪除策略,直接刪除掉這個(gè)過期key.
舉個(gè)例子, set 一個(gè) 過期時(shí)間為 600s的 key , 當(dāng) 到了 600s后,redis 并不會執(zhí)行刪除, 為了性能,redis 會在你下次訪問的時(shí)候 去刪除 。
這樣的話,我如果永遠(yuǎn)不訪問,那不歇菜了么? 不要著急,Redis還有主動(dòng)刪除 。
主動(dòng)刪除
由于惰性刪除策略無法保證冷數(shù)據(jù)被及時(shí)刪掉,所以Redis會定期主動(dòng)淘汰一批已過期的key。
說白了,這就是定時(shí)任務(wù)干的活,防止有些key 一直占用內(nèi)存。
當(dāng)REDIS運(yùn)行在主從模式時(shí),只有主結(jié)點(diǎn)才會執(zhí)行被動(dòng)和主動(dòng)這兩種過期刪除策略,然后把刪除操作”del key”同步到從結(jié)點(diǎn).
當(dāng)前已用內(nèi)存超過maxmemory限定時(shí),觸發(fā)主動(dòng)清理策略
第三種策略的情況: 當(dāng)前已用內(nèi)存超過maxmemory限定時(shí),會觸發(fā)主動(dòng)清理策略.
我們需要根據(jù)自身業(yè)務(wù)類型,選好maxmemory-policy(最大內(nèi)存淘汰策略),設(shè)置好過期時(shí)間。如果不設(shè)置最大內(nèi)存,當(dāng) Redis 內(nèi)存超出物理內(nèi)存限制時(shí),內(nèi)存的數(shù)據(jù)會開始和磁盤產(chǎn)生頻繁的交換 (swap)會讓 Redis 的性能急劇下降。
默認(rèn)策略是volatile-lru,即超過最大內(nèi)存后,在過期鍵中使用lru算法進(jìn)行key的剔除,保證不過期數(shù)據(jù)不被刪除,但是可能會出現(xiàn)OOM問題。
其他策略如下:
- allkeys-lru:根據(jù)LRU算法刪除鍵,不管數(shù)據(jù)有沒有設(shè)置超時(shí)屬性,直到騰出足夠空間 為止
- allkeys-random:隨機(jī)刪除所有鍵,直到騰出足夠空間為止。
- allkeys-random:隨機(jī)刪除所有鍵,直到騰出足夠空間為止。
- volatile-ttl:根據(jù)鍵值對象的ttl屬性,刪除最近將要過期數(shù)據(jù)。如果沒有,回退到noeviction策略。
- noeviction:不會剔除任何數(shù)據(jù),拒絕所有寫入操作并返回客戶端錯(cuò)誤信息"(error)。OOM command not allowed when used memory",此時(shí)Redis只響應(yīng)讀操作
記?。?volatile 開頭的策略,只清理過期的key , 而all開頭的策略則不管你過不過期,都會清理。
總結(jié)
- 當(dāng)client主動(dòng)訪問key會先對key進(jìn)行超時(shí)判斷,過時(shí)的key會立刻刪除。
- 從節(jié)點(diǎn)不會過期掃描,從節(jié)點(diǎn)對過期的處理是被動(dòng)的。 在主從復(fù)制環(huán)境中,由于上述原因存在已經(jīng)過期但是沒有刪除的key,在主snapshot時(shí)并不包含這些key,因此在slave環(huán)境中我們往往看到dbsize較master是更小的。
如果clien永遠(yuǎn)都不再get那條key呢?
redis會在Master的后臺,每秒10次的執(zhí)行如下操作:
隨機(jī)選取100個(gè)key校驗(yàn)是否過期,如果有25個(gè)以上的key過期了,立刻額外隨機(jī)選取下100個(gè)key(不計(jì)算在10次之內(nèi))??梢?,如果過期的key不多,它最多每秒回收200條左右,如果有超過25%的key過期了,它就會做得更多。
到此這篇關(guān)于淺談Redis對于過期鍵的三種清除策略的文章就介紹到這了,更多相關(guān)Redis 過期鍵清除內(nèi)容請搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站!?
版權(quán)聲明:本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學(xué)習(xí)參考,不代表本站立場,如有內(nèi)容涉嫌侵權(quán),請聯(lián)系alex-e#qq.com處理。