CentOS上PyTorch集群搭建方法

以下是在CentOS上搭建PyTorch集群的步驟：

1. 環境準備
   • 確保所有節點安裝相同版本CentOS，配置靜態IP并確保網絡互通。
   • 在主節點生成SSH密鑰，將公鑰復制到所有工作節點的~/.ssh/authorized_keys，設置權限為700（~/.ssh）和600（authorized_keys）。
2. 安裝基礎軟件
   • 升級系統：sudo yum update -y。
   • 安裝Python、pip及編譯工具：sudo yum install python3 python3-pip gcc-c++ make cmake git -y。
3. 安裝PyTorch
   • 無GPU：pip3 install torch torchvision torchaudio。
   • 有GPU：先安裝對應CUDA和cuDNN，再通過pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113安裝（需替換為實際CUDA版本）。
4. 配置分布式環境
   • 編寫訓練腳本，使用torch.distributed模塊，關鍵代碼包括：
     • 初始化進程組：dist.init_process_group(backend='nccl', init_method='tcp://<master_ip>:<master_port>', world_size=<總節點數>, rank=<當前節點排名>)。
     • 包裝模型：model = DDP(model, device_ids=[rank])。
   • 啟動腳本：
     • 單節點多GPU：python -m torch.distributed.launch --nproc_per_node=<GPU數量> your_script.py。
     • 多節點：通過--nnodes、--node_rank等參數指定節點信息，例如：
       python -m torch.distributed.launch --nnodes=2 --node_rank=0 --master_addr="主節點IP" --master_port=12345 your_script.py。
5. 驗證與調試
   • 運行簡單分布式任務（如MNIST數據集訓練），檢查節點間通信是否正常。
   • 使用nccl-tests工具測試GPU通信，或通過日志排查同步問題。

注意事項：

• 確保所有節點PyTorch、CUDA版本一致。
• 配置防火墻開放通信端口（如12345）。
• 多節點場景建議使用DistributedSampler處理數據分片。

參考來源：