基于Redis緩存數(shù)據(jù)常見(jiàn)的三種問(wèn)題及解決
1.緩存穿透
1.1 問(wèn)題描述
緩存穿透是在客戶端/瀏覽器端請(qǐng)求一個(gè)不存在的key,這個(gè)key在redis中不存在,在數(shù)據(jù)庫(kù)中也不存在數(shù)據(jù)源,每次對(duì)此key的請(qǐng)求從緩存獲取不到,就會(huì)請(qǐng)求數(shù)據(jù)源。
如使用一個(gè)不存在的用戶id去訪問(wèn)用戶信息,redis和數(shù)據(jù)庫(kù)中都沒(méi)有,多次進(jìn)行請(qǐng)求可能會(huì)壓垮數(shù)據(jù)源
1.2 解決方法
一個(gè)一定不存在緩存及查詢不到的數(shù)據(jù),由于緩存是不命中時(shí)被動(dòng)寫(xiě)入的,緩存不存在,出于容錯(cuò)考慮,查詢不到的數(shù)據(jù)是不會(huì)緩存在redis當(dāng)中,這將導(dǎo)致每次請(qǐng)求不存在的數(shù)據(jù)都會(huì)請(qǐng)求數(shù)據(jù)庫(kù),失去了緩存的意義。
(1)如果一個(gè)查詢返回的數(shù)據(jù)為空(不管是數(shù)據(jù)是否不存在),我們?nèi)匀话堰@個(gè)空結(jié)果(null)進(jìn)行緩存,設(shè)置空結(jié)果的過(guò)期時(shí)間會(huì)很短,最長(zhǎng)不超過(guò)五分鐘
(2)設(shè)置可訪問(wèn)的名單(白名單):使用bitmaps類型定義一個(gè)可以訪問(wèn)的名單,名單id作為bitmaps的偏移量,每次訪問(wèn)和bitmap里面的id進(jìn)行比較,如果訪問(wèn)id不在bitmaps里面,進(jìn)行攔截,不允許訪問(wèn)。
(3)采用布隆過(guò)濾器
(4)進(jìn)行實(shí)時(shí)的數(shù)據(jù)監(jiān)控,發(fā)現(xiàn)Redis在命中率急速降低時(shí),排查訪問(wèn)對(duì)象和訪問(wèn)數(shù)據(jù),設(shè)置黑名單。
2.緩存擊穿
2.1 問(wèn)題描述
當(dāng)用戶請(qǐng)求一個(gè)存在的key的數(shù)據(jù)時(shí),此時(shí)redis中該key的數(shù)據(jù)已經(jīng)過(guò)時(shí),此時(shí)若有大量并發(fā)請(qǐng)求發(fā)現(xiàn)緩存過(guò)期都會(huì)請(qǐng)求數(shù)據(jù)源加載數(shù)據(jù)并且緩存到redis當(dāng)中,這個(gè)時(shí)候大量的并發(fā)可能會(huì)把數(shù)據(jù)庫(kù)服務(wù)壓垮。
2.2 解決方法
key可能在某一個(gè)時(shí)間段被大量的請(qǐng)求,這個(gè)key的數(shù)據(jù)被稱為熱點(diǎn)數(shù)據(jù),這個(gè)時(shí)候便要考慮“擊穿”問(wèn)題。
(1)預(yù)先設(shè)置熱門(mén)數(shù)據(jù):在redis高峰訪問(wèn)之前,把一些熱門(mén)數(shù)據(jù)提前存入到redis里面,加大這些熱門(mén)數(shù)據(jù)key的時(shí)長(zhǎng)
(2)實(shí)時(shí)調(diào)整:現(xiàn)場(chǎng)監(jiān)控哪些數(shù)據(jù)熱門(mén),實(shí)時(shí)調(diào)整key的過(guò)期時(shí)長(zhǎng)
(3)使用鎖:
- 就是在緩存失效的時(shí)候(判斷拿出來(lái)的值為空),不是立即去load db。
- 先使用緩存工具的某些帶成功操作返回值的操作(比如Redis的SETNX)去set一個(gè)mutex key
- 當(dāng)操作返回成功時(shí),再進(jìn)行l(wèi)oad db的操作,并回設(shè)緩存,最后刪除mutex key;
- 當(dāng)操作返回失敗,證明有線程在load db,當(dāng)前線程睡眠一段時(shí)間再重試整個(gè)get緩存的方法。
3.緩存雪崩
3.1 問(wèn)題描述
可以對(duì)應(yīng)的數(shù)據(jù)存在,但是key的數(shù)據(jù)已經(jīng)過(guò)期(redis緩存過(guò)期,會(huì)自動(dòng)刪除此key),此時(shí)大量的并發(fā)請(qǐng)求訪問(wèn)不同的key,即同時(shí)大量的訪問(wèn)不同的key,此時(shí)key處于過(guò)期階段,便會(huì)請(qǐng)求數(shù)據(jù)庫(kù),大量的并發(fā)請(qǐng)求會(huì)壓垮數(shù)據(jù)庫(kù)服務(wù)器,這種情況被稱為緩存雪崩,和緩存擊穿的不同是前者是一個(gè)key。
3.2 解決方法
緩存失效時(shí)的雪崩效應(yīng)對(duì)底層系統(tǒng)的沖擊非??膳?!
(1) 構(gòu)建多級(jí)緩存架構(gòu):
- nginx緩存 + redis緩存 +其他緩存(ehcache等)
(2) 使用鎖或隊(duì)列:
- 用加鎖或者隊(duì)列的方式保證來(lái)保證不會(huì)有大量的線程對(duì)數(shù)據(jù)庫(kù)一次性進(jìn)行讀寫(xiě),從而避免失效時(shí)大量的并發(fā)請(qǐng)求落到底層存儲(chǔ)系統(tǒng)上。不適用高并發(fā)情況
(3) 設(shè)置過(guò)期標(biāo)志更新緩存:
- 記錄緩存數(shù)據(jù)是否過(guò)期(設(shè)置提前量),如果過(guò)期會(huì)觸發(fā)通知另外的線程在后臺(tái)去更新實(shí)際key的緩存。
(4) 將緩存失效時(shí)間分散開(kāi):
- 比如我們可以在原有的失效時(shí)間基礎(chǔ)上增加一個(gè)隨機(jī)值,比如1-5分鐘隨機(jī),這樣每一個(gè)緩存的過(guò)期時(shí)間的重復(fù)率就會(huì)降低,就很難引發(fā)集體失效的事件。
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持本站。
版權(quán)聲明:本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái),僅供學(xué)習(xí)參考,不代表本站立場(chǎng),如有內(nèi)容涉嫌侵權(quán),請(qǐng)聯(lián)系alex-e#qq.com處理。