引言

今天在使用Pytorch導(dǎo)入此前保存的模型進(jìn)行測試，在過程中發(fā)現(xiàn)輸出的結(jié)果與驗證結(jié)果差距甚大，經(jīng)過排查后發(fā)現(xiàn)是forward與eval()順序問題。

現(xiàn)象

此前的錯誤代碼是

 input_cpu = torch.ones((1, 2, 160, 160))
 target_cpu =torch.ones((1, 2, 160, 160))
 target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
 model.set_input_2(input_gpu, target_gpu)
 model.eval()
 model.forward()

應(yīng)該改為

 input_cpu = torch.ones((1, 2, 160, 160))
 target_cpu =torch.ones((1, 2, 160, 160))
 target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
 model.set_input_2(input_gpu, target_gpu)
 # 先forward再eval
 model.forward()
 model.eval()

當(dāng)時有個疑慮，為什么要在forward后面再加eval()，查了下相關(guān)資料，主要是在BN層以及Dropout的問題。

當(dāng)使用eval()時，模型會自動固定BN層以及Dropout，選取訓(xùn)練好的值，否則則會取平均，可能導(dǎo)致生成的圖片顏色失真。

PyTorch進(jìn)行訓(xùn)練和測試時一定注意要把實例化的model指定train/eval

使用PyTorch進(jìn)行訓(xùn)練和測試時一定注意要把實例化的model指定train/eval，eval（）時，框架會自動把BN和DropOut固定住，不會取平均，而是用訓(xùn)練好的值，不然的話，一旦test的batch_size過小，很容易就會被BN層導(dǎo)致生成圖片顏色失真極大?。。。。?！

eg：

Class Inpaint_Network()
......
Model = Inpaint_Nerwoek()
#train:
Model.train(mode=True)
.....
#test:
Model.eval()

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持本站。

美國服務(wù)器租用

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。