PyTorch Linux環境下如何監控性能

在Linux環境下監控PyTorch性能，可從系統資源監控、GPU監控、訓練過程監控三方面入手，常用工具及方法如下：

一、系統資源監控

• top/htop：實時查看CPU、內存占用情況，htop支持交互式排序（如按CPU/內存使用率）。
• nvidia-smi：監控GPU使用率、顯存占用、溫度等（需安裝NVIDIA驅動），watch -n 1 nvidia-smi可每秒刷新。
• psutil：通過Python庫獲取進程級CPU、內存使用數據，適合集成到代碼中。

二、GPU性能監控

• PyTorch Profiler：內置工具，支持CPU/GPU性能分析，可生成時間線報告，定位瓶頸（如算子耗時、內存占用）。

  from torch.profiler import profile
  with profile(activities=[ProfilerActivity.CPU, ProfilerActivity.MEMORY]) as prof:
      # 訓練代碼
  print(prof.key_averages().table(sort_by="cuda_time_total"))
  

• CUDA工具：如cuda-memcheck檢測內存錯誤，nvprof分析GPU內核性能（需安裝CUDA Toolkit）。

三、訓練過程監控

• TensorBoard：記錄損失、準確率等指標，支持可視化分析，需配合SummaryWriter使用。

  from torch.utils.tensorboard import SummaryWriter
  writer = SummaryWriter('runs/experiment')
  writer.add_scalar('Loss/train', loss.item(), epoch)
  writer.close()
  

• 自定義日志：通過Python的logging模塊記錄關鍵指標（如每輪損失、學習率），保存到文件便于分析。

四、高級監控方案

• 分布式訓練監控：結合torch.distributed和Dynolog，支持多GPU訓練的分布式追蹤。
• 系統級深度監控：使用perf分析CPU緩存命中率、磁盤IO延遲等底層性能。

選擇建議：

• 基礎監控：nvidia-smi + htop + TensorBoard（覆蓋GPU、系統資源及訓練指標）。
• 深度優化：PyTorch Profiler + perf（定位性能瓶頸）。
• 分布式場景：Dynolog + torch.distributed（追蹤跨節點性能）。