在PyTorch中優化模型訓練的超參數是一個關鍵步驟，它對于提高模型的性能和收斂速度至關重要。以下是一些常用的超參數優化方法：
超參數優化方法
- 手動調整：通過手動更改代碼中的超參數數值來進行調整。這種方法比較簡單粗暴，但對于簡單的模型或者初步的調優可以嘗試。
- 網格搜索：通過網格搜索方法在給定的超參數范圍內進行窮舉搜索?？梢允褂?
itertools.product 生成所有可能的組合，并在每個組合上訓練模型，然后選擇效果最好的超參數組合。
- 隨機搜索：與網格搜索不同，隨機搜索是隨機選擇超參數的組合進行訓練。這種方法相對更高效一些，因為不需要窮舉所有可能的組合。
- 使用超參數優化算法：還可以使用一些專門設計的超參數優化算法，如貝葉斯優化、Hyperband、Population-based Training等。這些算法可以更有效地搜索超參數空間，并在有限的資源下找到最優的超參數組合。
超參數優化工具
- PyTorch Lightning：提供了方便的接口來進行超參數優化，可以使用PyTorch Lightning的
Trainer類和其內置的調度器來調整超參數。
- Optuna：專為機器學習而設計，是一個黑盒優化器，適合用于超參數優化。
- Scikit-Optimize：是一個用于超參數優化的開源庫，基于順序模型的優化庫，稱為貝葉斯超參數優化
