MySQL分頁(yè)分析原理及提高效率
MySQL分頁(yè)分析原理及提高效率
PERCONA PERFORMANCE CONFERENCE 2009上,來(lái)自雅虎的幾位工程師帶來(lái)了一篇”Efficient Pagination Using MySQL“的報(bào)告,有很多亮點(diǎn),本文是在原文基礎(chǔ)上的進(jìn)一步延伸。
首先看一下分頁(yè)的基本原理:
MySQL> explain SELECT * FROM message ORDER BY id DESC LIMIT 10000, 20\G ***************** 1. row ************** id: 1 select_type: SIMPLE table: message type: index possible_keys: NULL key: PRIMARY key_len: 4 ref: NULL rows: 10020 Extra: 1 row in set (0.00 sec)
limit 10000,20的意思掃描滿(mǎn)足條件的10020行,扔掉前面的10000行,返回最后的20行,問(wèn)題就在這里,如果是limit 100000,100,需要掃描100100行,在一個(gè)高并發(fā)的應(yīng)用里,每次查詢(xún)需要掃描超過(guò)10W行,性能肯定大打折扣。文中還提到limit n性能是沒(méi)問(wèn)題的,因?yàn)橹粧呙鑞行。
文中提到一種”clue”的做法,給翻頁(yè)提供一些”線索”,比如還是SELECT * FROM message ORDER BY id DESC,按id降序分頁(yè),每頁(yè)20條,當(dāng)前是第10頁(yè),當(dāng)前頁(yè)條目id最大的是9527,最小的是9500,如果我們只提供”上一頁(yè)”、”下一頁(yè)”這樣的跳轉(zhuǎn)(不提供到第N頁(yè)的跳轉(zhuǎn)),那么在處理”上一頁(yè)”的時(shí)候SQL語(yǔ)句可以是:
SELECT * FROM message WHERE id > 9527 ORDER BY id ASC LIMIT 20;
處理”下一頁(yè)”的時(shí)候SQL語(yǔ)句可以是:
SELECT * FROM message WHERE id < 9500 ORDER BY id DESC LIMIT 20;
不管翻多少頁(yè),每次查詢(xún)只掃描20行。
缺點(diǎn)是只能提供”上一頁(yè)”、”下一頁(yè)”的鏈接形式,但是我們的產(chǎn)品經(jīng)理非常喜歡”<上一頁(yè) 1 2 3 4 5 6 7 8 9 下一頁(yè)>”這樣的鏈接方式,怎么辦呢?
如果LIMIT m,n不可避免的話,要優(yōu)化效率,只有盡可能的讓m小一下,我們擴(kuò)展前面的”clue”做法,還是SELECT * FROM message ORDER BY id DESC,按id降序分頁(yè),每頁(yè)20條,當(dāng)前是第10頁(yè),當(dāng)前頁(yè)條目id最大的是9527,最小的是9500,比如要跳到第8頁(yè),我看的SQL語(yǔ)句可以這樣寫(xiě):
SELECT * FROM message WHERE id > 9527 ORDER BY id ASC LIMIT 20,20;
跳轉(zhuǎn)到第13頁(yè):
SELECT * FROM message WHERE id < 9500 ORDER BY id DESC LIMIT 40,20;
原理還是一樣,記錄住當(dāng)前頁(yè)id的最大值和最小值,計(jì)算跳轉(zhuǎn)頁(yè)面和當(dāng)前頁(yè)相對(duì)偏移,由于頁(yè)面相近,這個(gè)偏移量不會(huì)很大,這樣的話m值相對(duì)較小,大大減少掃描的行數(shù)。其實(shí)傳統(tǒng)的limit m,n,相對(duì)的偏移一直是第一頁(yè),這樣的話越翻到后面,效率越差,而上面給出的方法就沒(méi)有這樣的問(wèn)題。
注意SQL語(yǔ)句里面的ASC和DESC,如果是ASC取出來(lái)的結(jié)果,顯示的時(shí)候記得倒置一下。
已在60W數(shù)據(jù)總量的表中測(cè)試,效果非常明顯。
感謝閱讀,希望能幫助到大家,謝謝大家對(duì)本站的支持!
版權(quán)聲明:本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái),僅供學(xué)習(xí)參考,不代表本站立場(chǎng),如有內(nèi)容涉嫌侵權(quán),請(qǐng)聯(lián)系alex-e#qq.com處理。