PyTorch中的學習率調度器有以下幾種類型：
StepLR：每一個給定的步驟大小的時候，學習率降低一個gamma倍。
MultiStepLR：定義一個列表，列表中的每一個步驟大小的時候，學習率降低一個gamma倍。
ExponentialLR：學習率按指數衰減。
CosineAnnealingLR：余弦退火學習率調度。
ReduceLROnPlateau：當一個指標停止改善的時候，將學習率減少。
LambdaLR：使用一個給定的函數定義學習率調度。
CyclicLR：學習率在一個循環范圍內的周期性調節。
OneCycleLR：學習率調度器，通過在訓練中使用變化的學習率來實現模型的更快收斂。
CosineAnnealingWarmRestarts：余弦退火學習率調度器，帶有warm restarts的功能。
MultiplicativeLR：每一步將學習率乘以一個給定的因子。
