PyTorch optimizer怎么使用

# PyTorch Optimizer怎么使用

## 1. 什么是Optimizer

在深度學習中，**Optimizer（優化器）**是訓練神經網絡的核心組件之一。它通過調整模型參數（weights和biases）來最小化損失函數（loss function），從而使模型逐步逼近最優解。PyTorch提供了多種優化算法的實現，如SGD、Adam、RMSprop等。

## 2. 優化器的基本使用步驟

### 2.1 導入必要的庫
```python
import torch
import torch.nn as nn
import torch.optim as optim

2.2 定義模型和損失函數

model = nn.Sequential(
    nn.Linear(10, 5),
    nn.ReLU(),
    nn.Linear(5, 1)
)
criterion = nn.MSELoss()  # 均方誤差損失

2.3 創建優化器實例

optimizer = optim.SGD(model.parameters(), lr=0.01)  # 隨機梯度下降

2.4 訓練循環中的關鍵操作

for epoch in range(100):
    # 前向傳播
    outputs = model(inputs)
    loss = criterion(outputs, targets)
    
    # 反向傳播
    optimizer.zero_grad()  # 清空梯度
    loss.backward()        # 計算梯度
    
    # 參數更新
    optimizer.step()       # 更新參數

3. 常用優化器介紹

3.1 SGD（隨機梯度下降）

optim.SGD(params, lr=0.01, momentum=0, dampening=0, weight_decay=0, nesterov=False)

• 特點：基礎優化器，可添加動量（momentum）加速收斂
• 適用場景：簡單模型或需要精細調參時

3.2 Adam

optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)

• 特點：自適應學習率，結合了動量法和RMSProp
• 適用場景：大多數深度學習任務的首選

3.3 RMSprop

optim.RMSprop(params, lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0, momentum=0)

• 特點：適合處理非平穩目標（如NLP任務）
• 適用場景：RNN網絡訓練

4. 高級使用技巧

4.1 學習率調度

PyTorch提供lr_scheduler實現動態學習率：

scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)
for epoch in range(100):
    train(...)
    scheduler.step()  # 更新學習率

4.2 參數分組優化

optim.SGD([
    {'params': model.base.parameters()},  # 基礎層
    {'params': model.classifier.parameters(), 'lr': 1e-3}  # 分類層
], lr=1e-2)

4.3 梯度裁剪

防止梯度爆炸：

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

5. 常見問題解決方案

5.1 訓練不收斂

• 檢查學習率是否合適（嘗試1e-2到1e-5范圍）
• 驗證梯度是否正常傳播（打印梯度值）
• 嘗試不同的優化器

5.2 內存溢出

• 減小batch size
• 使用optimizer.zero_grad(set_to_none=True)節省內存

5.3 過擬合

• 增加權重衰減（weight_decay）
• 使用早停法（early stopping）

6. 優化器選擇指南

7. 完整示例代碼

import torch
import torch.nn as nn
import torch.optim as optim

# 1. 準備數據和模型
X = torch.randn(100, 10)
y = torch.randn(100, 1)
model = nn.Sequential(nn.Linear(10, 5), nn.ReLU(), nn.Linear(5, 1))

# 2. 定義優化器
optimizer = optim.Adam(model.parameters(), lr=0.01)
criterion = nn.MSELoss()

# 3. 訓練循環
for epoch in range(1000):
    # 前向傳播
    pred = model(X)
    loss = criterion(pred, y)
    
    # 反向傳播
    optimizer.zero_grad()
    loss.backward()
    
    # 參數更新
    optimizer.step()
    
    if epoch % 100 == 0:
        print(f'Epoch {epoch}, Loss: {loss.item():.4f}')

8. 總結

PyTorch優化器是模型訓練的核心工具，合理選擇和使用優化器可以顯著提升訓練效果。關鍵要點： 1. 基礎優化流程：zero_grad() → backward() → step() 2. Adam通常是好的默認選擇 3. 配合學習率調度器效果更佳 4. 注意梯度問題和內存管理

通過實踐不同優化器和參數組合，可以找到最適合特定任務的配置。 “`