PyTorch在Ubuntu上的調試技巧

在Ubuntu上調試PyTorch代碼可以通過以下幾種方法進行：

使用print語句

最簡單直接的調試方法是使用print語句輸出變量的值，檢查程序的執行流程。

print(Variable value:, variable)

使用pdb進行交互式調試

Python自帶的pdb模塊可以進行交互式調試。

import pdb; pdb.set_trace()

在代碼中插入上述語句后，程序會在該行暫停執行，你可以使用pdb提供的命令進行調試。

使用logging模塊

logging模塊提供了更靈活的日志記錄功能，適合在生產環境中使用。

import logging
logging.basicConfig(level=logging.DEBUG)
logging.debug(Variable value: %s, variable)

使用IDE的調試工具

如果你使用的是像PyCharm、VSCode這樣的集成開發環境（IDE），它們通常提供了強大的調試工具。

• PyCharm:

  • 在代碼中設置斷點。
  • 點擊調試按鈕啟動調試會話。
  • 使用調試工具欄中的按鈕逐步執行代碼、查看變量值等。

• VSCode:

  • 安裝Python擴展。
  • 在代碼中設置斷點。
  • 點擊調試按鈕啟動調試會話。
  • 使用調試控制臺查看輸出和變量值。

使用torch.autograd.set_detect_anomaly

PyTorch提供了自動檢測梯度計算錯誤的工具。

torch.autograd.set_detect_anomaly(True)

啟用后，如果檢測到梯度計算錯誤，程序會拋出異常并顯示詳細的錯誤信息。

使用torch.autograd.profiler

PyTorch的profiler模塊可以幫助你分析模型的性能瓶頸。

from torch.autograd import profiler
with profiler.profile(record_shapes=True) as prof:
     Your model inference code here
output = model(input)

使用torch.utils.tensorboard

TensorBoard是TensorFlow的可視化工具，但也可以與PyTorch一起使用。

from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter('runs/experiment-1')
writer.add_scalar('Loss/train', loss.item(), epoch)
writer.close()

然后在終端運行：

tensorboard --logdir=runs

打開瀏覽器訪問http://localhost:6006即可查看TensorBoard界面。

使用assert語句

assert語句可以在代碼中插入檢查點，確保某些條件成立。

assert variable > 0, Variable must be positive

如果條件不成立，程序會拋出AssertionError并顯示自定義的錯誤信息。

通過以上方法，你可以在Ubuntu環境下有效地調試PyTorch代碼。選擇適合你需求的方法進行調試，可以提高開發效率。