PyTorch中dropout設置訓練和測試模式的實現示例

這篇文章主要介紹PyTorch中dropout設置訓練和測試模式的實現示例，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

看代碼吧~

class Net(nn.Module):
…
model = Net()
…
model.train() # 把module設成訓練模式，對Dropout和BatchNorm有影響
model.eval() # 把module設置為預測模式，對Dropout和BatchNorm模塊有影響

補充：Pytorch遇到的坑——訓練模式和測試模式切換

由于訓練的時候Dropout和BN層起作用，每個batch BN層的參數不一樣，dropout在訓練時隨機失效點具有隨機性，所以訓練和測試要區分開來。

使用時切記要根據實際情況切換：

model.train()
model.eval()

補充：Pytorch在測試與訓練過程中的驗證結果不一致問題

引言

今天在使用Pytorch導入此前保存的模型進行測試，在過程中發現輸出的結果與驗證結果差距甚大，經過排查后發現是forward與eval()順序問題。

現象

此前的錯誤代碼是

input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    model.eval()
    model.forward()

應該改為

input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    # 先forward再eval
    model.forward()
    model.eval()

以上是“PyTorch中dropout設置訓練和測試模式的實現示例”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！