數(shù)據(jù)訪問操作

首先最基本的操作就是訪問數(shù)據(jù)。這既可以通過直接訪問表，也可以通過訪問索引來進(jìn)行。表內(nèi)數(shù)據(jù)的組織方式分為堆(Heap)和B樹，其中表中沒有建立聚集索引時數(shù)據(jù)是通過堆進(jìn)行組織的，這個是無序的，表中建立聚集索引后和非聚集索引的數(shù)據(jù)都是以B樹方式進(jìn)行組織，這種方式數(shù)據(jù)是有序存儲的。通常來說，非聚集索引僅僅包含整個表的部分列，對于過濾索引，還僅僅包含部分行。

除去數(shù)據(jù)的組織方式不同外，訪問數(shù)據(jù)也分為兩種方式，掃描(Scan)和查找(Seek),掃描是掃描整個結(jié)構(gòu)的所有數(shù)據(jù)，而查找只是查找整個結(jié)構(gòu)中的部分?jǐn)?shù)據(jù)。因此可以看出，由于堆是無序的，所以不可能在堆上面進(jìn)行查找(Seek)操作,而相對于B樹的有序，使得在B樹中進(jìn)行查找成為可能。當(dāng)針對一個以堆組織的表進(jìn)行數(shù)據(jù)訪問時，就會進(jìn)行堆掃描,如圖1所示。

圖1.表掃描

可以看出，表掃描的圖標(biāo)很清晰的表明表掃描的性質(zhì)，在一個無序組織表中從頭到尾掃描一遍。

而對于B樹結(jié)構(gòu)的聚集索引和非聚集索引，同樣可以進(jìn)行掃描，通常來講，為了獲取索引表中的所有數(shù)據(jù)或是獲得索引行樹占了數(shù)據(jù)大多數(shù)使得掃描的成本小于查找時，會進(jìn)行聚集索引掃描。如圖2所示。

圖2.聚集索引掃描

聚集索引掃描的圖標(biāo)也同樣能夠清晰的表明聚集索引掃描的性質(zhì)，找到最左邊的葉子節(jié)點后，依次掃描所有葉子節(jié)點,達(dá)到掃描整個結(jié)構(gòu)的作用。當(dāng)然對于非聚集索引也是同樣的概念，如圖3所示。

圖3.非聚集索引的掃描

而對于僅僅選擇B樹結(jié)構(gòu)中的部分?jǐn)?shù)據(jù)，索引查找(Seek)使得B樹變得有意義。根據(jù)所查找的關(guān)鍵值，可以使得從僅僅從B樹根部向下走單一路徑，因此免去了掃描不必要頁的消耗，圖4是查詢計劃中的一個索引查找。

圖4.聚集索引查找

索引查找的圖標(biāo)也是很傳神的，可以看到圖標(biāo)那根線從根節(jié)點一路向下到葉子節(jié)點。也就是找到所求數(shù)據(jù)所在的頁，不難看出，如果我們需要查找多條數(shù)據(jù)且分散在不同的頁中，這個查找操作需要重復(fù)執(zhí)行很多回，當(dāng)這個次數(shù)大到一定程度時，SQL Server會選擇消耗比較低的索引掃描而不是再去重復(fù)索引查找。對于非聚集索引查找，概念是一樣的，就不再上圖片了。

書簽查找(Bookmark Lookup)

你也許會想，假如非聚集索引可以快速的找到所求的數(shù)據(jù)，但遺憾的是，非聚集索引卻不包含所有所求列時該怎么辦？這時SQL Server會面臨兩個選擇，直接訪問基本表去獲取數(shù)據(jù)或是在非聚集索引中找到數(shù)據(jù)后，再去基本表獲得非聚集索引沒有覆蓋到的所求列。這個選擇取決于所估計的行數(shù)等統(tǒng)計信息。查詢分析器會選擇消耗比較少的那個。

一個簡單的書簽查找如圖5所示。

圖5.一個簡單的書簽查找

從圖5可以看出，首先通過非聚集索引找到所求的行，但這個索引并不包含所有的列，因此還要額外去基本表中找到這些列，因此要進(jìn)行鍵查找，如果基本表是以堆進(jìn)行組織的，那么這個鍵查找(Key Lookup)就會變成RID查找(RID Lookup),鍵查找和RID查找統(tǒng)稱為書簽查找。

不過有時候索引查找所返回的行數(shù)過多導(dǎo)致書簽查找的性能遠(yuǎn)不如直接進(jìn)行掃描操作，因此SQL Server這時會選擇掃描而不是書簽查找。如圖6所示。

圖6.StateProvinceID列有非聚集索引，但由于返回行數(shù)過多，分析器會選擇掃描而不是書簽查找

這個估計是根據(jù)統(tǒng)計信息進(jìn)行的，關(guān)于統(tǒng)計信息，可以看我之前的一篇博文：淺談SQL Server中統(tǒng)計對于查詢的影響

聚合操作(Aggregation)

聚合函數(shù)會導(dǎo)致聚合操作。聚合函數(shù)是將一個集合的數(shù)據(jù)按照某種規(guī)則匯總成1個數(shù)據(jù)，或基于分組按照規(guī)則匯總成多個數(shù)據(jù)的過程。一些聚合函數(shù)比如:avg,sum,min，另外還有distinct關(guān)鍵字都有可能導(dǎo)致兩類聚合操作:流聚合(Stream Aggregation)和哈希聚合(Hash Aggregation)。

流聚合(Stream Aggregation)

流聚合需要再執(zhí)行聚合函數(shù)之前，被聚合的數(shù)據(jù)集合是有序的，這個有序數(shù)據(jù)既可以通過執(zhí)行計劃中的Sort進(jìn)行，也可以直接從聚集或是非聚集索引中直接獲得有序數(shù)據(jù)，另外，沒有Group by的聚合操作被成為標(biāo)量聚合，這類操作一定是會執(zhí)行流聚合。

比如，我們直接進(jìn)行標(biāo)量聚合，如圖7所示。

圖7.流聚合

但對于加了Group by的子句，因為需要數(shù)據(jù)按照group by 后面的列有序，就需要Sort來保證排序。注意,Sort操作是占用內(nèi)存的操作，當(dāng)內(nèi)存不足時還會去占用tempdb。SQL Server總是會在Sort操作和散列匹配中選擇成本最低的。一個需要Sort的操作如圖8所示。

圖8.需要排序的流聚合

圖8中排序操作按照ProductLine進(jìn)行排序后，然后就根據(jù)各自的分組做聚合操作了。

散列聚合(Hash aggregation)

上面的流聚合適合比較少的數(shù)據(jù)，但是對于相對大一點的表。使用散列集合成本會比排序要低。散列集合通過在內(nèi)存中建立散列表來實現(xiàn)聚合，因此無需對數(shù)據(jù)集合進(jìn)行排序。內(nèi)存中所建立的散列表以Group by后面的列作為鍵值，如圖9所示。

圖9.散列聚合

在內(nèi)存中建立好散列表后，會按照group by后面的值作為鍵，然后依次處理集合中的每條數(shù)據(jù)，當(dāng)鍵在散列表中不存在時，向散列表添加條目，當(dāng)鍵已經(jīng)在散列表中存在時，按照規(guī)則（規(guī)則是聚合函數(shù)，比如Sum,avg什么的）計算散列表中的值（Value）。

連接(Join)

當(dāng)多表連接時(書簽查找，索引之間的連接都算)，SQL Server會采用三類不同的連接方式:循環(huán)嵌套連接(Nested Loops Join),合并連接(Merge Join),散列連接(Hash Join)。這幾種連接并不是哪種會比另一種更好，而是每種連接方式都會適應(yīng)特定場景。

循環(huán)嵌套連接(Nested Loops Join)

由圖10可以看到一個簡單的循環(huán)嵌套連接。

圖10.一個循環(huán)嵌套連接的實例

循環(huán)嵌套連接的圖標(biāo)同樣十分傳神，處在上面的外部輸入(Outer input)，這里也就是聚集索引掃描。和處在下面的內(nèi)部輸入(Inner Input),這里也就是聚集索引查找。外部輸入僅僅執(zhí)行一次，根據(jù)外部輸入滿足Join條件的每一行，對內(nèi)部輸入進(jìn)行查找。這里由于是290行，對于內(nèi)部輸入執(zhí)行290次。

可以通過屬性窗口看到.如圖11所示：

圖11.內(nèi)部輸入的執(zhí)行次數(shù)

根據(jù)嵌套循環(huán)的原理不難看出，由于外部輸入是掃描，內(nèi)部輸入是查找，當(dāng)兩個Join的表外部輸入結(jié)果集比較小，而內(nèi)部輸入所查找的表非常大時，查詢優(yōu)化器更傾向于選擇循環(huán)嵌套方式。

合并連接(Merge Join)

不同于循環(huán)嵌套的是，合并連接是從每個表僅僅執(zhí)行一次訪問。從這個原理來看，合并連接要比循環(huán)嵌套要快了不少。下面來看一個典型的合并連接，如圖12所示。

圖12.合并連接

從合并連接的原理不難想象，首先合并連接需要雙方有序.并且要求Join的條件為等于號。因為兩個輸入條件已經(jīng)有序，所以從每一個輸入集合中取一行進(jìn)行比較，相等的返回，不相等的舍棄，從這里也不難看出Merge join為什么只允許Join后面是等于號。從圖11的圖標(biāo)中我們可以看出這個原理。

如果輸入數(shù)據(jù)的雙方無序，則查詢分析器不會選擇合并連接，我們也可以通過索引提示強(qiáng)制使用合并連接，為了達(dá)到這一目的，執(zhí)行計劃必須加上一個排序步驟來實現(xiàn)有序，如圖13所示。

圖13.通過排序來實現(xiàn)Merge Join

散列連接(Hash Join)

散列連接同樣僅僅只需要只訪問1次雙方的數(shù)據(jù)。散列連接通過在內(nèi)存中建立散列表實現(xiàn)。這比較消耗內(nèi)存，如果內(nèi)存不足還會占用tempdb。但并不像合并連接那樣需要雙方有序。一個典型的散列連接如圖14所示。

圖14.散列連接

這里我刪除了Costomer的聚集索引，否則兩個有序輸入SQL Server會選擇代價更低的合并連接。SQL Server利用兩個上面的輸入生成哈希表，下面的輸入來探測，可以在屬性窗口看到這些信息，如圖15所示。

圖15.散列鍵生成和散列鍵探測

通常來說，在兩個輸入數(shù)據(jù)比較大，且所求數(shù)據(jù)在其中一方或雙方?jīng)]有排序的條件達(dá)成時，會選用散列匹配。

并行

當(dāng)多個表連接時，SQL Server還允許在多CPU或多核的情況下允許查詢并行，這樣無疑提高了效率，一個并行的例子如圖16所示。

圖16.并行提高效率

總結(jié)

本文簡單介紹了SQL Server執(zhí)行計劃中常見的操作極其原理，了解這些步驟和原理是優(yōu)化查詢的基本功。

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。