1.SGD

隨機(jī)梯度下降

隨機(jī)梯度下降和其他的梯度下降主要區(qū)別，在于SGD每次只使用一個(gè)數(shù)據(jù)樣本，去計(jì)算損失函數(shù)，求梯度，更新參數(shù)。這種方法的計(jì)算速度快，但是下降的速度慢，可能會(huì)在最低處兩邊震蕩，停留在局部最優(yōu)。

2.SGDM

SGM with Momentum：動(dòng)量梯度下降

動(dòng)量梯度下降，在進(jìn)行參數(shù)更新之前，會(huì)對(duì)之前的梯度信息，進(jìn)行指數(shù)加權(quán)平均，然后使用加權(quán)平均之后的梯度，來(lái)代替原梯度，進(jìn)行參數(shù)的更新。如此，更新的時(shí)候，都會(huì)包含之前的梯度信息。

計(jì)算的時(shí)候，會(huì)在加權(quán)平均的梯度上加上一個(gè)beta參數(shù)，原梯度加上1-beta，二者之和就是用于進(jìn)行參數(shù)更新的動(dòng)量梯度。

由于有之前的梯度信息，因此該方法相當(dāng)于對(duì)梯度下降加入了一個(gè)慣性。如果前面的是下降，那么此處會(huì)下降更快，如果突然接觸到了最低點(diǎn)，也會(huì)因?yàn)橛袆?dòng)量，而再往前走走。也就是說(shuō)當(dāng)前的方向，由此前積累的方向，和現(xiàn)在的梯度方向共同決定。因此，訓(xùn)練過(guò)程的震蕩幅度會(huì)變小，速度變快。

SGDM速度沒(méi)Adam快，但泛化能力好。

3.Adam

Adam是一種在深度學(xué)習(xí)模型中用來(lái)替代隨機(jī)梯度下降的優(yōu)化算法

它是SGDM和RMSProp算法的結(jié)合，訓(xùn)練速度快，泛化能力不太行。

4.Adagrad

Adaptive Gradient自適應(yīng)步長(zhǎng)

該方法為現(xiàn)在的梯度*步長(zhǎng)添加了一個(gè)系數(shù)：1/（歷史梯度的平方和，再開(kāi)根號(hào)）

在數(shù)據(jù)分布稀疏的時(shí)候，能更好地利用稀疏梯度的信息，比標(biāo)準(zhǔn)的SGD更有效地收斂。

5.RMSProp

梯度平方根root mean square prop

該方法和Adagrad的區(qū)別就是分母不一樣，使得系數(shù)不會(huì)因?yàn)榍皫撞降奶荻忍蠖鴮?dǎo)致分母太大，從而導(dǎo)致系數(shù)變得太小而走不動(dòng)了。類似于Momentum的計(jì)算方式。

6.NAG

Nesterov Accelerated Gradient，是在SGD和SGDM的基礎(chǔ)上的改進(jìn)，在SGDM中，采用的梯度方向，是由當(dāng)前的梯度方向，以及前面累積的梯度方向共同決定，但在NAG中，是先使用累積的動(dòng)量計(jì)算一次，得到下一次的梯度方向，再把下一個(gè)點(diǎn)的梯度方向，與歷史累積動(dòng)量相結(jié)合，計(jì)算現(xiàn)在這個(gè)時(shí)刻的累計(jì)動(dòng)量。

以上就是python人工智能深度學(xué)習(xí)算法優(yōu)化的詳細(xì)內(nèi)容，更多關(guān)于python人工智能算法優(yōu)化的資料請(qǐng)關(guān)注本站其它相關(guān)文章！

版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。