PyTorch Linux版本更新日志

PyTorch是一個廣泛使用的開源機器學習框架，其不同版本通常會引入新功能、優化性能以及修復已知問題。以下是關于PyTorch版本更新日志的相關信息：

PyTorch版本更新日志

• PyTorch v2.7.1：

  • MacOS平臺兼容性提升
  • 針對采用Clang 17編譯工具鏈的MacOS設備，修復了關鍵編譯錯誤，提升移動端及蘋果設備上的開發體驗，同時修正MPS設備中二進制核對處理包裹標量張量參數導致的計算異常，確?？缙脚_一致性。
  • 其他核心改進及bug修復
    • 通過引入128位向量化指令，進一步優化了PyTorch官方輪子包文件大小和性能。
    • 修復fmsub (浮點乘加)函數定義錯誤，避免潛在數學計算偏差。
    • 解決mkldnn_max_pool2d算子中出現的浮點異常，保障CPU端池化操作穩定。
    • 修正XPU:1設備推理輸出異常，確保異構計算設備結果正確。
    • 解決Windows平臺因grid_sample操作引發的非法指令異常，保障Windows用戶體驗。
    • 修正ONNX模型分解流程中未保留自定義復合隱式自動求導算子的問題，優化導出精度和兼容性。
    • 解決libgomp動態鏈接錯誤，提升Linux環境下并行編譯和運行兼容性。
    • 修正使用Python 3.13環境進行性能分析時可能發生的段錯誤，確保最新Python版本使用無憂。
  • PyTorch 2.7.1更新的深度意義
    • 本次2.7.1小版本雖然定位為Bug修復，但涵蓋了很多用戶社區反映強烈、實際使用中痛點明顯的關鍵問題，尤其在torch.compile和分布式訓練部分的多項改進，顯著提升了PyTorch在大規模模型訓練和復雜場景推理中的可靠性和性能表現。
    • 靈活注意力模塊的優化也為基于Transformer架構的前沿模型帶來更優質的執行效率，這對于追求極致性能優化的科研團隊和企業研發部門至關重要。
  • 如何快速升級及最佳實踐建議
    • 安裝升級指令示例（推薦使用pip）

    pip install torch==2.7.1 --upgrade
    

    • 請務必查看官方文檔，選擇適合自己硬件架構的版本（CUDA、ROCm等），確保兼容性。
    • 升級后兼容性注意
      • 升級前請備份重要項目環境，避免版本變動帶來的潛在問題。
      • 特別是依賴torch.compile的項目，建議在升級后重新測試模型訓練和推理全過程，驗證無異常。
      • 分布式訓練用戶需關注相關API和環境變量，必要時根據官方指南調整配置。
    • 優化使用建議
      • 對于使用flex attention和Transformer密集計算用戶，升級后可以顯著感受到性能提升和穩定性增強。
      • Linux和Mac用戶請注意Clang相關編譯等環境問題，確保開發環境版本同步更新。
      • Windows用戶在遇到grid_sample等特定算子異常時，應第一時間升級至2.7.1確認是否得到解決。
  • 總結
    • PyTorch 2.7.1版本圍繞用戶反饋的核心痛點進行了細致的Bug修復和性能優化，彰顯了PyTorch社區對提升深度學習框架穩健性的堅定承諾。無論是研究前沿大模型的學者，還是工業級深度學習工程師，升級至2.7.1版本都將獲得更穩定、便捷和高效的開發體驗。未來，PyTorch將繼續在性能優化、跨平臺兼容和易用性方面持續發力，成為推動AI科技創新的中堅力量。

• PyTorch v2.7.0：

  • 重點內容
    • 測試版（Beta）：
      • Torch.Compile 支持 Torch 函數模式
      • Mega 緩存
    • 原型（Prototype）：
      • 支持 NVIDIA Blackwell 架構
      • PyTorch 原生上下文并行
      • 增強 Intel GPU 加速能力
      • FlexAttention 大型語言模型（LLM）首個 token 在 X86 CPU 上的處理
      • FlexAttention 大型語言模型（LLM）在 X86 CPU 上的吞吐量模式優化
      • Foreach Map 操作
      • 推理用 Flex Attention
      • Inductor 中的 Prologue 融合支持
    • 追蹤中的回歸問題
      • NCCL 初始化時在 12.2 驅動下出現 CUDA “無效參數”失敗 部分使用 12.2 CUDA 驅動（版本 535）的用戶報告在 NCCL 或對稱內存初始化過程中遇到“CUDA 驅動錯誤：無效參數”的問題。該問題正在調查中，詳情見 #150852。如果您是從源碼編譯的 PyTorch，已知的解決方法是使用 CUDA 12.2 工具包重新編譯 PyTorch。否則，您可以嘗試升級系統中的 CUDA 驅動。
    • 向后不兼容的變更
      • 不再支持 Triton 版本低于 2.2.0。
      • 移除了對 CUDA 12.4 和 Anaconda 在 CI/CD 環境中的支持。
      • 在 CI/CD 中移除了對 CUDA 12.4 的支持，轉而支持 CUDA 12.8。
      • 移除了 CI/CD 中對 Anaconda 的支持。
      • 不再支持 Triton 低于 2.2.0 的版本（沒有 ASTSource 支持的版本）。
      • 修改了 torch.Tensor.new_tensor() 的行為，默認會在當前 Tensor 所在設備上創建新 Tensor。
      • 之前該函數始終在 “cpu” 設備上建立新 Tensor，現在將和其他 .new_* 方法保持一致，使用當前 Tensor 的設備。
      • 以后發布的 Linux 輪子包（wheel）構建將使用 Manylinux 2.28 和 CXX11_ABI=1。
      • 遷移到 manylinux_2_28（基于 AlmaLinux 8）后，不再支持使用 glibc 2.26 的操作系統發行版，包含 Amazon Linux 2 和 CentOS 7 等。
      • torch.onnx.dynamo_export 現在使用 ExportedProgram 的邏輯路徑。
      • 使用 torch.onnx.dynamo_export API 的用戶可能會發現某些 ExportOptions 不再被支持（例如 diagnostic_options、fake_context 和 onnx_registry 被移除或忽略），僅保留 dynamic_shapes。
      • 建議用戶遷移到使用 torch.onnx.export(. dynamo=True)，并通過 dynamic_shapes 參數指定模型動態形狀。
      • 版本差異：

以上是PyTorch在Linux系統的部分更新日志，如果需要了解更多關于PyTorch的更新信息，建議前往PyTorch官網查詢。