在PyTorch中,動量(Momentum)是一種用于加速SGD優化的技術。動量的核心思想是利用之前的梯度來平滑更新過程,從而減少在高曲率區域里的震蕩。動量的默認值通常為0.9,但你可以根據你的具體任務和數據集進行調整。
要在PyTorch中設置動量,你需要在創建優化器時設置momentum
參數。以下是一個示例:
import torch
import torch.optim as optim
# 創建一個簡單的模型
model = torch.nn.Linear(10, 1)
# 定義損失函數和優化器,設置動量為0.5
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)
在這個例子中,我們創建了一個線性模型,并使用帶有動量的SGD優化器進行訓練。我們將動量設置為0.5,你可以根據你的需求調整這個值。
請注意,動量的最佳值通常取決于具體問題和數據集。你可能需要進行多次實驗來確定最佳的動量值。