關(guān)于數(shù)據(jù)庫(kù)優(yōu)化問(wèn)題收集匯總
發(fā)布日期：2022-01-01 17:25 | 文章來(lái)源：站長(zhǎng)之家
們在使用SQL時(shí)往往會(huì)陷入一個(gè)誤區(qū)，即太關(guān)注于所得的結(jié)果是否正確，而忽略了不同的實(shí)現(xiàn)方法之間可能存在的性能差異，這種性能差異在大型的或是復(fù)雜的數(shù)據(jù)庫(kù)環(huán)境中（如聯(lián)機(jī)事務(wù)處理OLTP或決策支持系統(tǒng)DSS）中表現(xiàn)得尤為明顯。
筆者在工作實(shí)踐中發(fā)現(xiàn)，不良的SQL往往來(lái)自于不恰當(dāng)?shù)乃饕?/SPAN>設(shè)計(jì)、不充份的連接條件和不可優(yōu)化的where子句。
在對(duì)它們進(jìn)行適當(dāng)?shù)?/SPAN>優(yōu)化后，其運(yùn)行速度有了明顯地提高！
下面將從這三個(gè)方面分別進(jìn)行總結(jié)：
為了更直觀地說(shuō)明問(wèn)題，所有實(shí)例中的SQL運(yùn)行時(shí)間均經(jīng)過(guò)測(cè)試，不超過(guò)１秒的均表示為（< 1秒）。----
測(cè)試環(huán)境:主機(jī)：HP LH II----主頻：330MHZ----內(nèi)存：128兆----
操作系統(tǒng)：Operserver5.0.4----
數(shù)據(jù)庫(kù)：Sybase11.0.3
一、不合理的索引設(shè)計(jì)----
例：表record有620000行，試看在不同的索引下，下面幾個(gè)SQL的運(yùn)行情況：
---- 1.在date上建有一非個(gè)群集索引
select count(*) from record where date >'19991201' and date < '19991214'and amount >2000 (25秒)
select date ,sum(amount) from record group by date(55秒)
select count(*) from record where date >'19990901' and place in ('BJ','SH') (27秒)
----分析：----
date上有大量的重復(fù)值，在非群集索引下，數(shù)據(jù)在物理上隨機(jī)存放在數(shù)據(jù)頁(yè)上，在范圍查找時(shí)，必須執(zhí)行一次表掃描才能找到這一范圍內(nèi)的全部行。
---- 2.在date上的一個(gè)群集索引
select count(*) from record where date >'19991201' and date < '19991214' and amount >2000（14秒）
select date,sum(amount) from record group by date（28秒）
select count(*) from record where date >'19990901' and place in ('BJ','SH')（14秒）
----分析：----在群集索引下，數(shù)據(jù)在物理上按順序在數(shù)據(jù)頁(yè)上，重復(fù)值也排列在一起，因而在范圍查找時(shí)，可以先找到這個(gè)范圍的起末點(diǎn)，且只在這個(gè)范圍內(nèi)掃描數(shù)據(jù)頁(yè)，避免了大范圍掃描，提高了查詢(xún)速度。
---- 3.在place，date，amount上的組合索引
select count(*) from record where date >'19991201' and date < '19991214' and amount >2000（26秒）
select date,sum(amount) from record group by date（27秒）
select count(*) from record where date >'19990901' and place in ('BJ, 'SH')（< 1秒）
----分析：----這是一個(gè)不很合理的組合索引，因為它的前導(dǎo)列是place，第一和第二條SQL沒(méi)有引用place，因此也沒(méi)有利用上索引；第三個(gè)SQL使用了place，且引用的所有列都包含在組合索引中，形成了索引覆蓋，所以它的速度是非常快的。
---- 4.在date，place，amount上的組合索引
select count(*) from record where date >'19991201' and date < '19991214' and amount >2000(< 1秒)
select date,sum(amount) from record group by date（11秒）
select count(*) from record where date >'19990901' and place in ('BJ','SH')（< 1秒）
----分析：----這是一個(gè)合理的組合索引。它將date作為前導(dǎo)列，使每個(gè)SQL都可以利用索引，并且在第一和第三個(gè)SQL中形成了索引覆蓋，因而性能達(dá)到了最優(yōu)。
---- 5.總結(jié)：----
缺省情況下建立的索引是非群集索引，但有時(shí)它并不是最佳的；合理的索引設(shè)計(jì)要建立在對(duì)各種查詢(xún)的分析和預(yù)測(cè)上。
一般來(lái)說(shuō)：
①.有大量重復(fù)值、且經(jīng)常有范圍查詢(xún)（between, >,<，>=,< =）和order by、group by發(fā)生的列，可考慮建立群集索引；
②.經(jīng)常同時(shí)存取多列，且每列都含有重復(fù)值可考慮建立組合索引；
③.組合索引要盡量使關(guān)鍵查詢(xún)形成索引覆蓋，其前導(dǎo)列一定是使用最頻繁的列。
二、不充份的連接條件：
例：表card有7896行，在card_no上有一個(gè)非聚集索引，表account有191122行，在account_no上有一個(gè)非聚集索引，試看在不同的表連接條件下，兩個(gè)SQL的執(zhí)行情況：
select sum(a.amount) from account a,card b where a.card_no = b.card_no（20秒）
select sum(a.amount) from account a,card b where a.card_no = b.card_no and a.account_no=b.account_no（< 1秒）
----分析：----在第一個(gè)連接條件下，最佳查詢(xún)方案是將account作外層表，card作內(nèi)層表，利用card上的索引，其I/O次數(shù)可由以下公式估算為：
外層表account上的22541頁(yè)+（外層表account的191122行*內(nèi)層表card上對(duì)應(yīng)外層表第一行所要查找的3頁(yè)）=595907次I/O
在第二個(gè)連接條件下，最佳查詢(xún)方案是將card作外層表，account作內(nèi)層表，利用account上的索引，其I/O次數(shù)可由以下公式估算為：外層表card上的1944頁(yè)+（外層表card的7896行*內(nèi)層表account上對(duì)應(yīng)外層表每一行所要查找的4頁(yè)）= 33528次I/O
可見(jiàn)，只有充份的連接條件，真正的最佳方案才會(huì)被執(zhí)行。
總結(jié)：
1.多表操作在被實(shí)際執(zhí)行前，查詢(xún)優(yōu)化器會(huì)根據(jù)連接條件，列出幾組可能的連接方案并從中找出系統(tǒng)開(kāi)銷(xiāo)最小的最佳方案。連接條件要充份考慮帶有索引的表、行數(shù)多的表；內(nèi)外表的選擇可由公式：外層表中的匹配行數(shù)*內(nèi)層表中每一次查找的次數(shù)確定，乘積最小為最佳方案。
2.查看執(zhí)行方案的方法--用set showplanon，打開(kāi)showplan選項(xiàng)，就可以看到連接順序、使用何種索引的信息；想看更詳細(xì)的信息，需用sa角色執(zhí)行dbcc(3604,310,302)。
三、不可優(yōu)化的where子句
1.例：下列SQL條件語(yǔ)句中的列都建有恰當(dāng)?shù)乃饕?/SPAN>執(zhí)行速度卻非常慢：
select * from record wheresubstring(card_no,1,4)='5378'(13秒)
select * from record whereamount/30< 1000（11秒）
select * from record whereconvert(char(10),date,112)='19991201'（10秒）
分析：
where子句中對(duì)列的任何操作結(jié)果都是在SQL運(yùn)行時(shí)逐列計(jì)算得到的，因此它不得不進(jìn)行表搜索，而沒(méi)有使用該列上面的索引；
如果這些結(jié)果在查詢(xún)編譯時(shí)就能得到，那么就可以被SQL優(yōu)化器優(yōu)化，使用索引，避免表搜索，因此將SQL重寫(xiě)成下面這樣：
select * from record where card_no like'5378%'（< 1秒）
select * from record where amount< 1000*30（< 1秒）
select * from record where date= '1999/12/01'（< 1秒）
你會(huì)發(fā)現(xiàn)SQL明顯快起來(lái)！
2.例：表stuff有200000行，id_no上有非群集索引，請(qǐng)看下面這個(gè)SQL：
select count(*) from stuff where id_no in('0','1')（23秒）
分析：---- where條件中的'in'在邏輯上相當(dāng)于'or'，所以語(yǔ)法分析器會(huì)將in ('0','1')轉(zhuǎn)化為id_no ='0' or id_no='1'來(lái)執(zhí)行。
我們期望它會(huì)根據(jù)每個(gè)or子句分別查找，再將結(jié)果相加，這樣可以利用id_no上的索引；
但實(shí)際上（根據(jù)showplan）,它卻采用了"OR策略"，即先取出滿(mǎn)足每個(gè)or子句的行，存入臨時(shí)數(shù)據(jù)庫(kù)的工作表中，再建立唯一索引以去掉重復(fù)行，最后從這個(gè)臨時(shí)表中計(jì)算結(jié)果。因此，實(shí)際過(guò)程沒(méi)有利用id_no上索引，并且完成時(shí)間還要受tempdb數(shù)據(jù)庫(kù)性能的影響。
實(shí)踐證明，表的行數(shù)越多，工作表的性能就越差，當(dāng)stuff有620000行時(shí)，執(zhí)行時(shí)間竟達(dá)到220秒！還不如將or子句分開(kāi)：
select count(*) from stuff where id_no='0'select count(*) from stuff where id_no='1'
得到兩個(gè)結(jié)果，再作一次加法合算。因為每句都使用了索引，執(zhí)行時(shí)間只有3秒，在620000行下，時(shí)間也只有4秒。
或者，用更好的方法，寫(xiě)一個(gè)簡(jiǎn)單的存儲(chǔ)過(guò)程：
create proc count_stuff asdeclare @a intdeclare @b intdeclare @c intdeclare @d char(10)beginselect @a=count(*) from stuff where id_no='0'select @b=count(*) from stuff where id_no='1'endselect @c=@a+@bselect @d=convert(char(10),@c)print @d
直接算出結(jié)果，執(zhí)行時(shí)間同上面一樣快！
----總結(jié)：----
可見(jiàn)，所謂優(yōu)化即where子句利用了索引，不可優(yōu)化即發(fā)生了表掃描或額外開(kāi)銷(xiāo)。
可見(jiàn)，所謂優(yōu)化即where子句利用了索引，不可優(yōu)化即發(fā)生了表掃描或額外開(kāi)銷(xiāo)。
1.任何對(duì)列的操作都將導(dǎo)致表掃描，它包括數(shù)據(jù)庫(kù)函數(shù)、計(jì)算表達(dá)式等等，查詢(xún)時(shí)要盡可能將操作移至等號(hào)右邊。
2.in、or子句常會(huì)使用工作表，使索引失效；如果不產(chǎn)生大量重復(fù)值，可以考慮把子句拆開(kāi)；拆開(kāi)的子句中應(yīng)該包含索引。
3.要善于使用存儲(chǔ)過(guò)程，它使SQL變得更加靈活和高效。
從以上這些例子可以看出，SQL優(yōu)化的實(shí)質(zhì)就是在結(jié)果正確的前提下，用優(yōu)化器可以識(shí)別的語(yǔ)句，充份利用索引，減少表掃描的I/O次數(shù)，盡量避免表搜索的發(fā)生。其實(shí)SQL的性能優(yōu)化是一個(gè)復(fù)雜的過(guò)程，上述這些只是在應(yīng)用層次的一種體現(xiàn)，深入研究還會(huì)涉及數(shù)據(jù)庫(kù)層的資源配置、網(wǎng)絡(luò)層的流量控制以及操作系統(tǒng)層的總體設(shè)計(jì)。
1、開(kāi)發(fā)人員如果用到其他庫(kù)的Table或View，務(wù)必在當(dāng)前庫(kù)中建立View來(lái)實(shí)現(xiàn)跨庫(kù)操作，最好不要直接使用“databse.dbo.table_name”，因?yàn)閟p_depends不能顯示出該SP所使用的跨庫(kù)table或view，不方便校驗(yàn)。
2、開(kāi)發(fā)人員在提交SP前，必須已經(jīng)使用set showplan on分析過(guò)查詢(xún)計(jì)劃，做過(guò)自身的查詢(xún)優(yōu)化檢查。
3、高程序運(yùn)行效率，優(yōu)化應(yīng)用程序，在SP編寫(xiě)過(guò)程中應(yīng)該注意以下幾點(diǎn)：
a) SQL的使用規(guī)范：
i. 盡量避免大事務(wù)操作，慎用holdlock子句，提高系統(tǒng)并發(fā)能力。
ii. 盡量避免反復(fù)訪(fǎng)問(wèn)同一張或幾張表，尤其是數(shù)據(jù)量較大的表，可以考慮先根據(jù)條件提取數(shù)據(jù)到臨時(shí)表中，然后再做連接。
iii. 盡量避免使用游標(biāo)，因?yàn)橛螛?biāo)的效率較差，如果游標(biāo)操作的數(shù)據(jù)超過(guò)1萬(wàn)行，那么就應(yīng)該改寫(xiě)；如果使用了游標(biāo)，就要盡量避免在游標(biāo)循環(huán)中再進(jìn)行表連接的操作。
iv. 注意where字句寫(xiě)法，必須考慮語(yǔ)句順序，應(yīng)該根據(jù)索引順序、范圍大小來(lái)確定條件子句的前后順序，盡可能的讓字段順序與索引順序相一致，范圍從大到小。
v. 不要在where子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算，否則系統(tǒng)將可能無(wú)法正確使用索引。
vi. 盡量使用exists代替select count(1)來(lái)判斷是否存在記錄，count函數(shù)只有在統(tǒng)計(jì)表中所有行數(shù)時(shí)使用，而且count(1)比count(*)更有效率。
vii. 盡量使用“>=”，不要使用“>”。
viii. 注意一些or子句和union子句之間的替換
ix. 注意表之間連接的數(shù)據(jù)類(lèi)型，避免不同類(lèi)型數(shù)據(jù)之間的連接。
x. 注意存儲(chǔ)過(guò)程中參數(shù)和數(shù)據(jù)類(lèi)型的關(guān)系。
xi. 注意insert、update操作的數(shù)據(jù)量，防止與其他應(yīng)用沖突。如果數(shù)據(jù)量超過(guò)200個(gè)數(shù)據(jù)頁(yè)面（400k），那么系統(tǒng)將會(huì)進(jìn)行鎖升級(jí)，頁(yè)級(jí)鎖會(huì)升級(jí)成表級(jí)鎖。
b) 索引的使用規(guī)范：
i. 索引的創(chuàng)建要與應(yīng)用結(jié)合考慮，建議大的OLTP表不要超過(guò)6個(gè)索引。
ii. 盡可能的使用索引字段作為查詢(xún)條件，尤其是聚簇索引，必要時(shí)可以通過(guò)index index_name來(lái)強(qiáng)制指定索引
iii. 避免對(duì)大表查詢(xún)時(shí)進(jìn)行table scan，必要時(shí)考慮新建索引。
iv. 在使用索引字段作為條件時(shí)，如果該索引是聯(lián)合索引，那么必須使用到該索引中的第一個(gè)字段作為條件時(shí)才能保證系統(tǒng)使用該索引，否則該索引將不會(huì)被使用。
v. 要注意索引的維護(hù)，周期性重建索引，重新編譯存儲(chǔ)過(guò)程。
c) tempdb的使用規(guī)范：
i. 盡量避免使用distinct、order by、group by、having、join、***pute，因?yàn)檫@些語(yǔ)句會(huì)加重tempdb的負(fù)擔(dān)。
ii. 避免頻繁創(chuàng)建和刪除臨時(shí)表，減少系統(tǒng)表資源的消耗。
iii. 在新建臨時(shí)表時(shí)，如果一次性插入數(shù)據(jù)量很大，那么可以使用select into代替create table，避免log，提高速度；如果數(shù)據(jù)量不大，為了緩和系統(tǒng)表的資源，建議先create table，然后insert。
iv. 如果臨時(shí)表的數(shù)據(jù)量較大，需要建立索引，那么應(yīng)該將創(chuàng)建臨時(shí)表和建立索引的過(guò)程放在單獨(dú)一個(gè)子存儲(chǔ)過(guò)程中，這樣才能保證系統(tǒng)能夠很好的使用到該臨時(shí)表的索引。
v. 如果使用到了臨時(shí)表，在存儲(chǔ)過(guò)程的最后務(wù)必將所有的臨時(shí)表顯式刪除，先truncate table，然后drop table，這樣可以避免系統(tǒng)表的較長(zhǎng)時(shí)間鎖定。
vi. 慎用大的臨時(shí)表與其他大表的連接查詢(xún)和修改，減低系統(tǒng)表負(fù)擔(dān)，因?yàn)檫@種操作會(huì)在一條語(yǔ)句中多次使用tempdb的系統(tǒng)表。
d) 合理的算法使用：
根據(jù)上面已提到的SQL優(yōu)化技術(shù)和ASE Tuning手冊(cè)中的SQL優(yōu)化內(nèi)容,結(jié)合實(shí)際應(yīng)用,采用多種算法進(jìn)行比較,以獲得消耗資源最少、效率最高的方法。具體可用ASE調(diào)優(yōu)命令：set statistics io on, set statistics time on , set showplan on 等
版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。
相關(guān)文章
關(guān)注官方微信