Tensorflow與RNN、雙向LSTM等的踩坑記錄及解決
1、tensorflow(不定長)文本序列讀取與解析
tensorflow讀取csv時需要指定各列的數(shù)據(jù)類型。
但是對于RNN這種接受序列輸入的模型來說,一條序列的長度是不固定。這時如果使用csv存儲序列數(shù)據(jù),應當首先將特征序列拼接成一列。
例如兩條數(shù)據(jù)序列,第一項是標簽,之后是特征序列
[0, 1.1, 1.2, 2.3] 轉換成 [0, '1.1_1.2_2.3']
[1, 1.0, 2.5, 1.6, 3.2, 4.5] 轉換成 [1, '1.0_2.5_1.6_3.2_4.5']
這樣每條數(shù)據(jù)都只包含固定兩列了。
讀取方式是指定第二列為字符串類型,再將字符串按照'_'分割并轉換為數(shù)字。
關鍵的幾行代碼示例如下:
def readMyFileFormat(fileNameQueue): reader = tf.TextLineReader() key, value = reader.read(fileNameQueue) record_defaults = [["Null"], [-1], ["Null"], ["Null"], [-1]] phone1, seqlen, ts_diff_strseq, t_cod_strseq, userlabel = tf.decode_csv(value, record_defaults=record_defaults) ts_diff_str = tf.string_split([ts_diff_strseq], delimiter='_') t_cod_str = tf.string_split([t_cod_strseq], delimiter='_') # 每個字符串轉數(shù)字 Str2Float = lambda string: tf.string_to_number(string, tf.float32) Str2Int = lambda string: tf.string_to_number(string, tf.int32) ts_diff_seq = tf.map_fn(Str2Float, ts_diff_str.values, dtype = tf.float32) # 一定要加上dtype,且必須與fn的輸出類型一致 t_cod_seq = tf.map_fn(Str2Int, t_cod_str.values, dtype = tf.int32)
2、時序建模的序列預測、序列擬合、標簽預測,及輸入數(shù)據(jù)格式
序列預測、擬合的“標簽”都是序列本身,區(qū)別是未來時刻或者是當前時刻,當前時刻的擬合任務類似于antoencoder的reconstruction
標簽預測常見于語言學建模,有單詞級標簽的分詞與整句標簽的情感分析,前者需要對每一個單詞輸入都要輸出其分詞標識,后者是取最后若干輸出級聯(lián)前饋神經網(wǎng)絡分類器
keras的輸入-輸出對:需要將序列拆分成多個片段
序列形式:
按時間列表:static_bidirectional_rnn
多維數(shù)組:bidirectional_dynamic_rnn與stack_bidirectional_dynamic_rnn 變長雙向rnn的正確使用姿勢
3、多任務設置及相應的輸出向量劃分
對于標簽預測任務,按需取輸出即可
對于序列預測、擬合:
雙向lstm:通常用于擬合。但如果需要捕捉動態(tài)信息,盡管需要序列完整輸入,則仍可以加上正向預測與反向預測
單向lstm:擬合與預測
4、zero padding
后一般需要通過tf.boolean_mask()隔離這些零的影響,函數(shù)輸入包括數(shù)據(jù)矩陣和補零位置的指示矩陣。
5、get_shape()方法
與 tf.shape() 類型區(qū)別,前者得到一個list,后者得到一個tensor
6、雙向LSTM的信息瓶頸的解決
如果在時間步的最后輸出,則可能會導致開始的一些字符被遺忘門給遺忘。
所以這里就對每個時間步的輸出做出了處理,
主要處理有:
1、拼接:把所有的輸出拼接在一起。
2、Average
3、Pooling
以上為個人經驗,希望能給大家一個參考,也希望大家多多支持本站。
版權聲明:本站文章來源標注為YINGSOO的內容版權均為本站所有,歡迎引用、轉載,請保持原文完整并注明來源及原文鏈接。禁止復制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務器上建立鏡像,否則將依法追究法律責任。本站部分內容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學習參考,不代表本站立場,如有內容涉嫌侵權,請聯(lián)系alex-e#qq.com處理。