1.RNN基礎(chǔ)模型

RNN主要特點(diǎn)是，在DNN隱藏層的輸出內(nèi)容會(huì)被存儲(chǔ)，并且可以作為輸入給到下一個(gè)神經(jīng)元。

如下圖所示，當(dāng)“臺(tái)北”這個(gè)詞被輸入的時(shí)候，前面的詞有可能是“離開(kāi)“，有可能是”到達(dá)“，如果把上一次輸入的”離開(kāi)“，所得的隱藏層內(nèi)容，輸入給下一層，這樣就有可能區(qū)分開(kāi)是”離開(kāi)臺(tái)北“，還是”到達(dá)臺(tái)北“。

如果隱藏層存儲(chǔ)的內(nèi)容并給下次使用，叫做Elman Network

如果最終的輸出內(nèi)容給下次使用，叫做Jordan Network

雙向RNN：從正向輸入的內(nèi)容，得到的存儲(chǔ)內(nèi)容，以及反向輸入內(nèi)容得到的存儲(chǔ)內(nèi)容，同時(shí)輸入給模型。

2.LSTM

Long Short-term Memory，其實(shí)當(dāng)人們說(shuō)到使用RNN的時(shí)候，通常都是使用的LSTM。對(duì)于LSTM的每一個(gè)單元，除了輸入的數(shù)據(jù)之外，還有另外三個(gè)“門(mén)”來(lái)控制輸入，輸出，存儲(chǔ)。如下圖所示，如此一來(lái)，每一個(gè)LSTM單元共有4個(gè)輸入，以及1個(gè)輸出。

這些控制的門(mén)都是向量，并且輸入之后都需要進(jìn)行一個(gè)sigmoid函數(shù)轉(zhuǎn)換，因此輸入和門(mén)進(jìn)行計(jì)算之后，得到的輸出是位于0-1之間的數(shù)據(jù)，這樣就可以實(shí)現(xiàn)對(duì)輸入、輸出、存儲(chǔ)與否的把控。而門(mén)的參數(shù)都需要由RNN學(xué)習(xí)得到。

3.流程結(jié)構(gòu)

如下圖，假如輸入的是z，經(jīng)過(guò)函數(shù)轉(zhuǎn)換，得到g(z)，輸入門(mén)的數(shù)據(jù)z(i)，經(jīng)過(guò)一個(gè)sigmoid函數(shù)轉(zhuǎn)換，將其相乘，得到g(z) * f(z(i))

同樣的，當(dāng)控制存儲(chǔ)數(shù)的門(mén)得到的結(jié)果是1的時(shí)候，那么以前的數(shù)據(jù)就會(huì)和1相乘，并于前面算的結(jié)果相加，這樣就實(shí)現(xiàn)了對(duì)上次存儲(chǔ)數(shù)據(jù)的利用。是0的時(shí)候就會(huì)刪除上次的數(shù)據(jù)，實(shí)現(xiàn)存儲(chǔ)數(shù)據(jù)的格式化。

最終得到的輸出是h(c)，但如果輸出門(mén)輸入z0后計(jì)算的結(jié)果是0，則該輸出就無(wú)法輸出，是1的時(shí)候才可以輸出。

LSTM和DNN的區(qū)別，就是把神經(jīng)元換成了LSTM單元，輸入的數(shù)據(jù)乘上權(quán)重之后，來(lái)控制各個(gè)門(mén)。因此參數(shù)變成平常DNN參數(shù)的4倍。

將整個(gè)流程簡(jiǎn)化來(lái)表示，如下。

實(shí)際中，LSTM不只是一個(gè)，它是多個(gè)組合，并且每一個(gè)的輸出，以及存儲(chǔ)的內(nèi)容也會(huì)添加到下一次的輸入當(dāng)中。如下圖所示：

以上便是LSTM的整體結(jié)構(gòu)。

Python人工智能深度學(xué)習(xí)RNN模型流程結(jié)構(gòu)的詳細(xì)內(nèi)容今天就為大家講解到這里了，更多關(guān)于RNN模型流程結(jié)構(gòu)的資料請(qǐng)關(guān)注本站其它相關(guān)文章！

版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。