AMD Primus
複雑さを排除した AI モデルの大規模トレーニング
Primus は、トレーニング セットアップ、最適化された Transformer、実稼働運用を 1 つのモジュール型エクスペリエンスに統合します。再現可能なワークフロー、カーネル アクセラレーション、クラスター検証、監視が組み込まれているため、初回実行からフリート規模のトレーニングへ迅速に移行できます。
Primus を使ってできること
分散ジョブを監視し、問題を迅速にデバッグ
単一の CLI で再現可能なトレーニング実験を開始
最適化された演算子を使用して Transformer ワークロードを高速化
大規模なトレーニング実行前にクラスターを検証
主なコンポーネント
Primus プラットフォーム
Primus は、実験セットアップからクラスター規模の運用までのトレーニング ライフサイクル全体をサポートするモジュール式コンポーネントを提供します。
- 検証と監視
- 本番環境事前学習
- 実稼働規模の RL
信頼性ツール
検証と監視
トレーニング構成の計画、クラスターの準備状況の検証、大規模な実行の監視。
適切なトレーニング構成を特定
Primus Tuning + Primus Projection
- GPU メモリ バジェットに適したトレーニング構成を見つける。
- GPU メモリ使用量とトレーニング スループットを予測する。
- クラスター全体を実行する前に、実行可能な構成を特定する。
開始前にクラスターを検証
Primus-Bench + Primus Preflight
- クラスター ハードウェアとネットワークの正常性を確認する。
- パフォーマンスをベンチマークし、ノードの外れ値にフラグを付ける。
- クラスター全体を起動する前に、テスト トレーニングを実行する。
ライブ実行でボトルネックを発見
Primus-Lens
- トレーニング ジョブとクラスターの正常性を監視する。
- 分散した実行をダッシュボードに表示する。
- アラートを使用してパフォーマンスの問題を検知する。
Primus Core
本番環境事前学習
最適化された演算子と復元力のあるクラスター運用により、大規模モデルのトレーニングをサポート。
大規模モデルのトレーニングを迅速に開始
Primus-LM
- 1 つの CLI から大規模モデルのトレーニングを開始する。
- YAML とトレーニング レシピを使用して実験をセットアップする。
- Megatron-LM、PyTorch TorchTitan、または JAX MaxText を使用する。
ワークロードのパフォーマンス向上を促進
Primus-Turbo
- 最適化された演算子によって Transformer トレーニング スループットを向上させる。
- コンピューティングと通信のオーバーラップによって GPU 使用率を向上させる。
- カスタム トレーニング ワークフローと統合する。
クラスター規模での信頼性の高い実行
Primus-SaFE
- トポロジ対応の配置でジョブをスケジュールする。
- トレーニングの前にクラスターの準備状況を確認する。
- 失敗したジョブを再試行し、チェックポイントからトレーニングを再開する。
RL ポスト トレーニング
実稼働規模の RL
すぐに実行可能な検証済みの AMD ROCm™ ワークフローにより、AMD Instinct™ GPU で RL ポスト トレーニングをスケーリング。
すぐに実行可能なスタックで RL ポスト トレーニングを開始
ROCm 上での veRL
- ソフトウェアの依存関係が検証された事前構築済みコンテナーから起動する。
- PPO、GRPO、および DAPO ポスト トレーニングのワークフローを実行する。
- 環境に合わせてソフトウェア バージョンと GPU ターゲットをカスタマイズする。
ロールアウトとトレーニングを独立して拡張
vLLM と SGLang のロールアウト
- ロールアウトに AITER アクセラレーション vLLM または SGLang を選択する。
- 完全非同期モードで、ロールアウトとトレーニングの GPU プールを個別にサイズ設定する。
- 重複生成とトレーニングにより、長い応答待ち時間を短縮する。
トレーニング モード全体でモデル品質を検証
精度と収束
- Dense 推論モデルおよび MoE 推論モデルの検証済みの例を使用する。
- コロケーション実行と完全非同期実行における収束を比較する。
- 検証の正確性、トレーニングの報酬、ロールアウトとトレーニングの一貫性を追跡する。
パフォーマンス ベンチマーク
Primus ベンチマークを実行すると、顧客が AMD Instinct™ GPU の処理能力をモデル開発の高速化にどの程度、活用できているかがわかります。シングル ノードからマルチノード クラスターへとスケーリングしながら、GPU 使用率を最大化できれば、トレーニング所要時間を短縮すると共に、さまざまなモデル アーキテクチャでトレーニング効率を向上させることができます。
ROCm 10 と ROCm 7 の比較
トレーニング改善の加速
DeepSeek-V3-16B
DeepSeek-V2-Lite
Qwen3-30B-A3B
リリース間: 性能の向上
2.01 倍
2.54 倍
2.76 倍
平均
2.4 倍
各モデルで前のリリースより高速
並列化とスケジューリング
パイプライン並列化、シャーディング データ並列化、勾配オールリデュースのオーバーラップ
メモリ管理
活性化チェックポイント、FP8 混合精度、融合勾配累積
最適化されたカーネル
融合 FlashAttention (fwd + bwd)、グループ化 GEMM • 融合オプティマイザー ステップ
実際の成果
大規模にテスト、本番環境で実証
Zyphra がどのようにフルスタック AMD プラットフォーム上で ZAYA1 をゼロから構築したのかをご紹介します。このコラボレーションは、1,000 個以上の GPU でトレーニングされた比較対象モデルが、E2E Instinct スタック上の本番環境で収束することを示しています。
ZAYA1-base
Qwen3-4B
Gemma3-12B-PT
Llama3.1-8B
OLMoE-1B-7B
MMLU-Pro(5) 精度 (%)
40.43
41.92
42.25
ZAYA1-base
Qwen3-4B
Gemma3-12B-PT
Llama3.1-8B
OLMoE-1B-7B
MATH-hard(4) 完全一致 (%)
54.15
47.05
17.98
ZAYA1-base
Qwen3-4B
Gemma3-12B-PT
Llama3.1-8B
OLMoE-1B-7B
MBPP +(3) 合格 @1 (%)
75.40
76.46
75.40
Primus の利用を開始する
モデル選択から大規模トレーニングまでの道のり
Instinct 上で最先端 AI モデルをゼロから構築するための、プロダクション テスト済みのリファレンス アーキテクチャを体験してください。
アイコン
Primus エコシステム内で Primus LM を使用します。
アイコン
GitHub で最新のプレリリース機能とソース コードをご確認ください。
リソース
