訓(xùn)練誤差和泛化誤差

訓(xùn)練誤差是指，我們的模型在訓(xùn)練數(shù)據(jù)集上計算得到的誤差。
泛化誤差是指，我們將模型應(yīng)用在同樣從原始樣本的分布中抽取的無限多的數(shù)據(jù)樣本時，我們模型誤差的期望。

在實(shí)際中，我們只能通過將模型應(yīng)用于一個獨(dú)立的測試集來估計泛化誤差，該測試集由隨機(jī)選取的、未曾在訓(xùn)練集中出現(xiàn)的數(shù)據(jù)樣本構(gòu)成。

模型復(fù)雜性

在本節(jié)中將重點(diǎn)介紹幾個傾向于影響模型泛化的因素：

可調(diào)整參數(shù)的數(shù)量。當(dāng)可調(diào)整參數(shù)的數(shù)量（有時稱為自由度）很大時，模型往往更容易過擬合。參數(shù)采用的值。當(dāng)權(quán)重的取值范圍較大時，模型可能更容易過擬合。訓(xùn)練樣本的數(shù)量。即使模型非常簡單，也很容易過擬合只包含一兩個樣本的數(shù)據(jù)集。而過擬合一個有數(shù)百萬個樣本的數(shù)據(jù)集則需要一個極其靈活的模型。

模型選擇

在機(jī)器學(xué)習(xí)中，我們通常在評估幾個候選模型后選擇最終的模型。這個過程叫做模型的選擇。有時，需要進(jìn)行比較的模型在本質(zhì)上是完全不同的（比如，決策樹與線性模型）。又有時，我們需要比較不同的超參數(shù)設(shè)置下的同一類模型。

例如，訓(xùn)練多層感知機(jī)模型時，我們可能希望比較具有不同數(shù)量的隱藏層、不同數(shù)量的隱藏單元以及不同的激活函數(shù)組合的模型。為了確定候選模型的最佳模型，我們通常會使用驗(yàn)證集。

驗(yàn)證集

原則上，在我們確定所有的超參數(shù)之前，我們不應(yīng)該用到測試集。如果我們在模型選擇過程中使用了測試數(shù)據(jù)，可能會有過擬合測試數(shù)據(jù)的風(fēng)險。
如果我們過擬合了訓(xùn)練數(shù)據(jù)，還有在測試數(shù)據(jù)上的評估來判斷過擬合。
但是如果我們過擬合了測試數(shù)據(jù)，我們又應(yīng)該怎么知道呢？

我們不能依靠測試數(shù)據(jù)進(jìn)行模型選擇。也不能僅僅依靠訓(xùn)練數(shù)據(jù)來選擇模型，因?yàn)槲覀儫o法估計訓(xùn)練數(shù)據(jù)的泛化誤差。

解決此問題的常見做法是將我們的數(shù)據(jù)分成三份，除了訓(xùn)練和測試數(shù)據(jù)集之外，還增加一個驗(yàn)證數(shù)據(jù)集（validation dataset），也叫驗(yàn)證集（validation set）。
但現(xiàn)實(shí)是，驗(yàn)證數(shù)據(jù)和測試數(shù)據(jù)之間的界限非常模糊。在之后實(shí)際上是使用應(yīng)該被正確地稱為訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)的東西，并沒有真正的測試數(shù)據(jù)集。因此，之后的準(zhǔn)確度都是驗(yàn)證集準(zhǔn)確度，而不是測試集準(zhǔn)確度。

K折交叉驗(yàn)證

當(dāng)訓(xùn)練數(shù)據(jù)稀缺時，我們甚至可能無法提供足夠的數(shù)據(jù)來構(gòu)成一個合適的驗(yàn)證集。這個問題的一個流行的解決方案是采用 K K K折交叉驗(yàn)證。這里，原始訓(xùn)練數(shù)據(jù)被分成 K個不重疊的子集。然后執(zhí)行K次模型訓(xùn)練和驗(yàn)證，每次在K−1個子集上進(jìn)行訓(xùn)練，并在剩余的一個子集（在該輪中沒有用于訓(xùn)練的子集）上進(jìn)行驗(yàn)證。最后，通過K次實(shí)驗(yàn)的結(jié)果取平均來估計訓(xùn)練和驗(yàn)證誤差。

欠擬合還是過擬合？

當(dāng)我們比較訓(xùn)練和驗(yàn)證誤差時，我們要注意兩種常見的情況。
首先，我們要注意這樣的情況：訓(xùn)練誤差和驗(yàn)證誤差都很嚴(yán)重，但它們之間僅有一點(diǎn)差距。如果模型不能降低訓(xùn)練誤差，這可能意味著我們的模型過于簡單（即表達(dá)能力不足），無法捕獲我們試圖學(xué)習(xí)的模式。此外，由于我們的訓(xùn)練和驗(yàn)證誤差之間的泛化誤差很小，我們有理由相信可以用一個更復(fù)雜的模型降低訓(xùn)練誤差。這種現(xiàn)象被稱為欠擬合。

另一方面，當(dāng)我們的訓(xùn)練誤差明顯低于驗(yàn)證誤差時要小心，這表明嚴(yán)重的過擬合。注意，過擬合并不總是一件壞事。

我們是否過擬合或欠擬合可能取決于模型的復(fù)雜性和可用數(shù)據(jù)集的大小，這兩個點(diǎn)將在下面進(jìn)行討論。

模型復(fù)雜性

告誡多項(xiàng)式函數(shù)比低階多項(xiàng)式函數(shù)復(fù)雜得多。高階多項(xiàng)式的參數(shù)較多，模型函數(shù)的選擇范圍較廣。因此在固定訓(xùn)練數(shù)據(jù)集的情況下，高階多項(xiàng)式函數(shù)相對于低階多項(xiàng)式的訓(xùn)練誤差應(yīng)該始終更低（最壞也是相等）。事實(shí)上，當(dāng)數(shù)據(jù)樣本包含了 x的不同取值時，函數(shù)階數(shù)等于數(shù)據(jù)樣本數(shù)量的多項(xiàng)式函數(shù)可以完美擬合訓(xùn)練集。在下圖中，我們直觀地描述了多項(xiàng)式的階數(shù)和欠擬合與過擬合之間的關(guān)系。

數(shù)據(jù)集大小

訓(xùn)練數(shù)據(jù)集中的樣本越少，我們就越可能（且更嚴(yán)重地）遇到過擬合。隨著訓(xùn)練數(shù)據(jù)量的增加，泛化誤差通常會減小。此外，一般來說，更多的數(shù)據(jù)不會有什么壞處。

以上就是Python機(jī)器學(xué)習(xí)pytorch模型選擇及欠擬合和過擬合詳解的詳細(xì)內(nèi)容，更多關(guān)于pytorch模型選擇及欠擬合和過擬合的資料請關(guān)注本站其它相關(guān)文章！

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。