以下是CentOS上優化PyTorch內存占用的方法:
torch.cuda.empty_cache()
手動釋放GPU緩存。del
刪除不再需要的變量,配合gc.collect()
觸發垃圾回收。DataLoader
的batch_size
參數。torch.cuda.amp
自動在FP16和FP32間切換,減少內存占用。pin_memory=True
,并合理設置num_workers
。torch.utils.checkpoint
減少中間激活值存儲。注意:需根據具體模型和任務調整參數,平衡內存占用與訓練效率。