AMD Primus
Entraînez des modèles d'IA à grande échelle, sans complexité
Primus regroupe la configuration de l'entraînement, les transformateurs optimisés et les opérations de production au sein d'une expérience modulaire unique. Passez rapidement du premier essai à l'entraînement à l'échelle du parc, grâce à des flux de travail reproductibles, à l'accélération par noyau, à la validation des clusters et à la surveillance intégrées.
Avec Primus, les équipes peuvent :
Surveiller les tâches distribuées et résoudre les problèmes plus rapidement
Lancer des expériences d'entraînement reproductibles à l'aide d'une seule interface CLI
Accélérer les charges de travail des transformateurs à l'aide d'opérateurs optimisés
Valider les clusters avant les sessions d'entraînement à grande échelle
Composants clés
La plateforme Primus
Primus propose des composants modulaires qui prennent en charge l'ensemble du cycle de vie de la formation, de la mise en place des expériences aux opérations à l'échelle d'un cluster.
- Valider et Observer
- Pré-entraînement en production
- Échelle de production RL
Outils de fiabilité
Valider et Observer
Planifiez les configurations d'entraînement, validez la préparation du cluster et surveillez les exécutions à grande échelle.
Trouver la bonne configuration d'entraînement
Primus Tuning Agent et Primus Projection
- Trouvez les paramètres d'entraînement adaptés à votre budget de mémoire GPU.
- Prévoyez l'utilisation de la mémoire GPU et du débit d'entraînement.
- Identifiez les configurations viables avant l'exécution du cluster complet.
Valider le cluster avant le lancement
Primus-Bench et Primus Preflight
- Vérifiez l'intégrité du hardware et du réseau du cluster.
- Comparez les performances et signalez les valeurs aberrantes des nœuds.
- Effectuez des tests d'entraînement avant le lancement du cluster complet.
Repérer les goulots d'étranglement dans les exécutions en direct
Primus-Lens
- Surveillez les tâches d'entraînement et l'intégrité du cluster.
- Affichez les exécutions distribuées dans les tableaux de bord.
- Utilisez les alertes pour repérer les problèmes de performances.
Primus Core
Pré-entraînement en production
Prenez en charge l'entraînement des grands modèles avec des opérateurs optimisés et des opérations de cluster résilientes.
Lancer plus rapidement l'entraînement de modèles dgrand format
Primus-LM
- Lancez l'entraînement de grands modèles à partir d'une seule CLI.
- Configurez des expériences avec YAML et des recettes d'entraînement.
- Utilisez Megatron-LM, PyTorch TorchTitan ou JAX MaxText.
Optimiser les performances des charges de travail
Primus-Turbo
- Améliorez le débit d'entraînement des transformateurs grâce à des opérateurs optimisés.
- Superposez le calcul et la communication pour améliorer l'utilisation du GPU.
- Intégrez des flux de travail d'entraînement personnalisés.
Exécutions fiables à l'échelle d'un cluster
Primus-SaFE
- Planifiez les tâches en tenant compte de la topologie.
- Vérifiez la disponibilité du cluster avant l'entraînement.
- Relancez les tâches ayant échoué et reprenez l'entraînement à partir des points de contrôle.
Post-entraînement RL
Échelle de production RL
Exécutez le post-entraînement RL à grande échelle sur les GPU AMD Instinct™ grâce à des flux de travail AMD ROCm™ validés et prêts à l'emploi.
Lancer le post-entraînement RL avec une pile prête à l'emploi
veRL sur ROCm
- Démarrez à partir d'un conteneur préconfiguré avec des dépendances software vérifiées.
- Exécutez les flux de travail de post-entraînement PPO, GRPO et DAPO.
- Personnalisez les versions software et les cibles GPU pour votre environnement.
Adapter les déploiements et l'entraînement de manière indépendante
Déploiements vLLM et SGLang
- Choisissez vLLM ou SGLang accéléré par AITER pour l'exécution des déploiements.
- Dimensionnez indépendamment les pools de GPU dédiés aux déploiements et à l'entraînement dans un mode entièrement asynchrone.
- Superposez les phases de génération et d'entraînement afin de réduire les temps d'attente liés aux réponses longues.
Vérifier la qualité du modèle dans tous les modes d'entraînement
Précision et convergence
- Utilisez des exemples validés pour les modèles de raisonnement dense et MoE.
- Comparez la convergence entre les exécutions colocalisées et les exécutions entièrement asynchrones.
- Suivez la précision de validation, les récompenses d'entraînement et la cohérence entre les déploiements et l'entraînement.
Benchmarks de performances
Les tests de performances Primus montrent comment les clients peuvent tirer parti de la capacité des GPU AMD Instinct™ pour accélérer le développement de modèles : ils permettent de passer d'un nœud unique à des clusters à plusieurs nœuds, tout en optimisant l'utilisation des GPU, en réduisant la durée d'entraînement et en améliorant l'efficacité de l'entraînement sur diverses architectures de modèles.
ROCm 10 par rapport à ROCm 7
Accélérer l'amélioration de l'entraînement
DeepSeek-V3-16B
DeepSeek-V2-Lite
Qwen3-30B-A3B
D'une version à l'autre : Amélioration des performances
2,01x
2,54x
2,76x
En moyenne
2,4X
plus rapide que la version précédente, tous modèles confondus
Parallélisation et planification
Parallélisme en pipeline, parallélisme des données fragmentées, chevauchement « gradient all-reduce »
Gestion de la mémoire
Points de contrôle d'activation, précision mixte FP8, accumulation fusionnée des gradients
Noyaux optimisés
FlashAttention fusionnée (fwd + bwd), GEMM groupées • étape d'optimisation fusionnée
Résultats réels
Testé à grande échelle, éprouvé en production
Découvrez comment Zyphra a développé ZAYA1, entièrement à partir de zéro, sur une plateforme AMD full-stack. Cette collaboration présente un modèle compétitif, entraîné sur plus de 1 000 GPU, qui converge en environnement de production sur une pile Instinct de bout en bout.
ZAYA1-base
Qwen3-4B
Gemma3-12B-PT
Llama3.1-8B
OLMoE-1B-7B
MMLU-Pro(5) Précision (%)
40,43
41,92
42,25
ZAYA1-base
Qwen3-4B
Gemma3-12B-PT
Llama3.1-8B
OLMoE-1B-7B
MATH-hard(4) Correspondance exacte (%)
54,15
47,05
17,98
ZAYA1-base
Qwen3-4B
Gemma3-12B-PT
Llama3.1-8B
OLMoE-1B-7B
MBPP+(3) Taux de réussite au premier essai (%)
75,40
76,46
75,40
Se lancer avec Primus
Le parcours, de la sélection du modèle à l'entraînement à grande échelle
Découvrez l'architecture de référence, testée en production, pour créer des modèles d'IA de pointe à partir de zéro sur Instinct.
Icône
Utilisez Primus LM au sein de l'écosystème Primus.
Icône
Découvrez les dernières fonctionnalités en avant-première et le code source sur GitHub.
Ressources
