CentOS上如何利用GPU加速PyTorch

在CentOS上利用GPU加速PyTorch，你需要完成以下幾個步驟：

1. 安裝NVIDIA驅動：

   • 首先，確保你的CentOS系統已經安裝了與你的GPU兼容的NVIDIA驅動。你可以從NVIDIA官網下載對應的驅動程序。
   • 安裝驅動的命令可能類似于：

     sudo yum install epel-release
     sudo yum install dkms
     sudo yum install nvidia-driver-latest-dkms
     

   • 安裝完成后，重啟系統以使驅動生效。

2. 安裝CUDA Toolkit：

   • CUDA是NVIDIA提供的并行計算平臺和API，PyTorch通過CUDA來利用GPU加速。
   • 訪問NVIDIA的CUDA Toolkit下載頁面，選擇適合你的操作系統和GPU型號的版本。
   • 下載并安裝CUDA Toolkit，例如：

     wget https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-rhel7-10.2.89-1.x86_64.rpm
     sudo rpm -i cuda-repo-rhel7-10.2.89-1.x86_64.rpm
     sudo yum clean all
     sudo yum install cuda
     

   • 安裝完成后，將CUDA路徑添加到環境變量中：

     echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
     echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
     source ~/.bashrc
     

3. 安裝cuDNN：

   • cuDNN是NVIDIA提供的深度學習GPU加速庫，它可以顯著提高深度學習框架的性能。
   • 訪問NVIDIA的cuDNN下載頁面，注冊并下載與你的CUDA版本兼容的cuDNN庫。
   • 解壓并安裝cuDNN，例如：

     tar -xzvf cudnn-10.2-linux-x64-v8.0.5.39.tgz
     sudo cp cuda/include/cudnn*.h /usr/local/cuda/include
     sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
     sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
     

4. 安裝NCCL（可選）：

   • NCCL是NVIDIA提供的用于多GPU通信的庫，如果你需要在多個GPU上進行并行計算，可以安裝NCCL。
   • 訪問NVIDIA的NCCL下載頁面，下載并安裝適合你的CUDA版本的NCCL。

5. 安裝PyTorch：

   • 使用pip安裝PyTorch，確保選擇與你的CUDA版本兼容的PyTorch版本。你可以在PyTorch官網找到安裝命令。
   • 例如，如果你的CUDA版本是10.2，可以使用以下命令安裝PyTorch：

     pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu102
     

6. 驗證安裝：

   • 安裝完成后，可以通過運行一個簡單的PyTorch腳本來驗證GPU是否被正確識別和使用。
   • 創建一個名為test_gpu.py的文件，內容如下：

     import torch
     
     device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
     print(f"Using device: {device}")
     
     x = torch.rand(5, 3).to(device)
     y = torch.rand(5, 3).to(device)
     z = x + y
     print(z)
     

   • 運行腳本：

     python test_gpu.py
     

   • 如果一切正常，你應該能看到輸出的矩陣運算是在GPU上執行的。

完成以上步驟后，你就可以在CentOS上使用GPU加速PyTorch了。記得在進行深度學習訓練時，將模型和數據移動到GPU上，例如使用.to(device)方法。