AMD Primus

大規模訓練 AI 模型,無須面對繁複流程

Primus 將訓練設定、最佳化的轉換器與生產環境作業整合至單一模組化體驗中。透過內建而可重現的工作流程、內核加速、叢集驗證與監測功能,快速從首次執行擴大至全機群訓練。

有了 Primus,團隊可以:
Software icon

監測分散式工作,並更快速地進行問題除錯

Gear icon

只需透過單一 CLI,即可啟動可重現的訓練實驗

Fast icon

使用最佳化運算子加速轉換器工作負載

Accomplishments icon

在執行大規模訓練前驗證叢集

Black fade

Primus 平台

Primus 提供模組化元件,支援從實驗設定到叢集規模作業的完整訓練生命週期。

框架

支援頂尖架構

  • Megatron-LM
  • PyTorch TorchTitan
  • JAX MaxText

AMD Primus

使用 AMD ROCm™ 的訓練工作流程

大規模訓練參考架構

  • 設定
  • 驗證
  • 加速
  • 觀察
  • 最佳化

AI 開發人員


無

驗證 + 觀察

  • Primus Tuning Agent 與 Primus Projection
  • Primus-Bench 與 Primus Preflight
  • Primus-Lens
無

生產級預先訓練

  • Primus-LM
  • Primus-Turbo
  • Primus-SaFE
無

生產級 RL - 即將推出

RL 工作流程路徑

  • OSS RL 堆疊
  • 支援 veRL、Miles 與 Slime
  • 經 AMD 驗證的 Docker 與上游 CI/CD

核心技術

AMD ROCm™ Core SDK

程式庫 | 編譯器 | 工具 | 執行階段

效能基準測試

Primus 基準測試展現出客戶能夠如何將 AMD Instinct™ 顯示卡的運算能力轉化為快速的模型開發成果,從單一節點擴充至多節點叢集,同時最大化顯示卡使用率、縮短訓練所需時間,並提高不同模型架構的訓練效率。

ROCm 10 對比 ROCm 7

加速提升訓練效能

DeepSeek-V3-16B

DeepSeek-V2-Lite

Qwen3-30B-A3B

版本間比較:效能提升
2.01 倍
2.54 倍
2.76 倍
平均 2.4 倍
各模型相較舊版皆有速度提升

平行化與排程

管道平行性、分片資料平行化、梯度 All-Reduce 重疊執行

記憶體管理

啟用值檢查點、FP8 混合精度、融合式梯度累積

最佳化內核

融合式 FlashAttention(正向 + 反向)、分組 GEMM • 融合式最佳化器步驟

經大規模測試,通過生產環境驗證

探索 Zyphra 如何在完整堆疊的 AMD 平台上,從零開始打造 ZAYA1。此次合作展示了一個具競爭力的模型,該模型在超過 1000 張顯示卡上訓練,並在以端對端 Instinct 技術堆疊為基礎的生產環境中成功收斂。

Black fade