La pile software d'IA AMD la plus avancée
Derniers algorithmes et modèles
Raisonnement amélioré, algorithmes d'attention et MoE parcimonieux pour une meilleure efficacité
Prise en charge d'AMD Instinct™ Série MI350
Architecture AMD CDNA 4, prenant en charge de nouveaux types de données avec une mémoire HBM avancée
Fonctionnalités avancées pour faire évoluer l'IA
Inférence distribuée fluide, entraînement des MoE, apprentissage par renforcement à grande échelle
Cycle de vie de l'IA
IA d'entreprise simplifiée et gestion des clusters pour une évolutivité dans divers secteurs
Prise en charge d'AMD Ryzen™ AI et des solutions graphiques AMD Radeon™
Solution complète d'IA au niveau des terminaux pour des besoins d'applications polyvalents
Un véritable bond en avant des performances d'une génération à l'autre
ROCm 7 par rapport à ROCm 6
Inférence¹
Entraînement²
Prise en charge d'AMD Instinct™ Série MI350
Alimentation des GPU AMD Instinct™ Série MI350
Amélioration de l’intégration transparente des plateformes AMD Instinct MI350X avec une infrastructure rack ouverte, permettant un déploiement rapide et des performances d'IA optimisées à grande échelle.
Faire évoluer l'IA d'entreprise
Inférence distribuée avec un écosystème ouvert
Avec vLLM-d, DeepEP, SGLang et l’accès direct au GPU, la plateforme software ROCm offre le débit le plus élevé à l’échelle du rack sur l'ensemble des lots, des nœuds et des modèles.
ROCm pour le cycle de vie de l'IA
Le software ROCm s'intègre aux structures d'IA d'entreprise afin de fournir un flux de travail de bout en bout entièrement open source pour l'IA de production, englobant l'IA d'entreprise ROCm, y compris la plateforme d'opérations et la gestion des clusters.
IA au niveau des terminaux
Extension de l'écosystème ROCm aux cœurs graphiques AMD Ryzen™ AI et AMD Radeon™
L’écosystème d'IA au niveau des terminaux ROCm prend en charge Linux et Windows sur les produits AMD Radeon, y compris la dernière série Radeon RX 9000, ainsi que les produits Ryzen AI MAX, leaders de leur catégorie.
Commencez dès aujourd'hui
Accélérez vos tâches d'IA/ML, d'informatique hautes performances et d'analyse de données avec AMD Developer Cloud.
Tenez-vous au courant
Restez informés de l'actualité concernant ROCm.
Notes de bas de page
- MI300-080 - Tests effectués par AMD Performance Labs le 15/05/2025, mesurant les performances d’inférence en jetons par seconde (TPS) du software AMD ROCm 6.x avec vLLM 0.3.3, comparé à la version de prévisualisation du software AMD ROCm 7.0 avec vLLM 0.8.5, sur un système équipé de huit (8) GPU AMD Instinct MI300X, exécutant les modèles Llama 3.1-70B (TP2), Qwen 72B (TP2) et Deepseek-R1 (FP16), avec des tailles de lot allant de 1 à 256 et des longueurs de séquence de 128 à 204. Le gain de performances déclaré est exprimé en TPS moyens par rapport aux trois (3) LLM testés.
Configuration hardwareServeur de CPU 1P AMD EPYC™ 9534 avec 8 GPU AMD Instinct™ MI300X (192 Go, 750 W), Supermicro AS-8125GS-TNMR2, NPS1 (1 NUMA par socket), 1,5 Tio (24 DIMM, 4 800 mts mémoire, 64 Gio/DIMM), 4 x 3,49 To de stockage Micron 7450, version du BIOS : 1,8
Configuration(s) software
Ubuntu 22.04 LTS avec noyau Linux 5.15.0-119-generic
Qwen 72B et Llama 3.1-70B -
Version de prévisualisation du software ROCm 7.0
PyTorch 2.7.0. Deepseek R-1 - version de prévisualisation ROCm 7.0, SGLang 0.4.6, PyTorch 2.6.0
vs
Qwen 72 et Llama 3.1-70B - Software ROCm 6.x GA
PyTorch 2.7.0 et 2.1.1, respectivement,
Deepseek R-1 : Software ROCm 6.x GA
SGLang 0.4.1, PyTorch 2.5.0
Les résultats peuvent varier en fonction des configurations créées par les fabricants de serveurs. Les performances peuvent varier en fonction de la configuration, du software, de la version de vLLM et de l'utilisation des derniers pilotes et optimisations.
- MI300-081 - Tests réalisés par AMD Performance Labs en date du 15 mai 2025, pour mesurer les performances d'entraînement (en TFLOP) de la version de prévisualisation du software ROCm 7.0, avec Megatron-LM, sur huit GPU AMD Instinct MI300X, exécutant les modèles Llama 2-70B (4K), Qwen1.5-14B et Llama3.1-8B, dans un conteneur Docker personnalisé, comparé à un système configuré de manière similaire utilisant le software AMD ROCm 6.0.
Configuration hardware
CPU 1P AMD EPYC™ 9454, 8 GPU AMD Instinct MI300X (192 Go, 750 W), version du BIOS American Megatrends International LLC : 1.8, BIOS 1.8.
Configuration software
Ubuntu 22.04 LTS avec noyau Linux 5.15.0-70-generic
ROCm 7.0., Megatron-LM, PyTorch 2.7.0
vs
Version publique du software ROCm 6.0, branches de code Megatron-LM hanl/disable_te_llama2 pour Llama 2-7B, guihong_dev pour Llama 2-70B, renwuli/disable_te_qwen1.5 pour Qwen1.5-14B, PyTorch 2.2.
Les résultats peuvent varier en fonction des configurations créées par les fabricants de serveurs. Les performances peuvent varier en fonction de la configuration, du software, de la version de vLLM et de l'utilisation des derniers pilotes et optimisations.
- MI300-080 - Tests effectués par AMD Performance Labs le 15/05/2025, mesurant les performances d’inférence en jetons par seconde (TPS) du software AMD ROCm 6.x avec vLLM 0.3.3, comparé à la version de prévisualisation du software AMD ROCm 7.0 avec vLLM 0.8.5, sur un système équipé de huit (8) GPU AMD Instinct MI300X, exécutant les modèles Llama 3.1-70B (TP2), Qwen 72B (TP2) et Deepseek-R1 (FP16), avec des tailles de lot allant de 1 à 256 et des longueurs de séquence de 128 à 204. Le gain de performances déclaré est exprimé en TPS moyens par rapport aux trois (3) LLM testés.
Configuration hardwareServeur de CPU 1P AMD EPYC™ 9534 avec 8 GPU AMD Instinct™ MI300X (192 Go, 750 W), Supermicro AS-8125GS-TNMR2, NPS1 (1 NUMA par socket), 1,5 Tio (24 DIMM, 4 800 mts mémoire, 64 Gio/DIMM), 4 x 3,49 To de stockage Micron 7450, version du BIOS : 1,8
Configuration(s) software
Ubuntu 22.04 LTS avec noyau Linux 5.15.0-119-generic
Qwen 72B et Llama 3.1-70B -
Version de prévisualisation du software ROCm 7.0
PyTorch 2.7.0. Deepseek R-1 - version de prévisualisation ROCm 7.0, SGLang 0.4.6, PyTorch 2.6.0
vs
Qwen 72 et Llama 3.1-70B - Software ROCm 6.x GA
PyTorch 2.7.0 et 2.1.1, respectivement,
Deepseek R-1 : Software ROCm 6.x GA
SGLang 0.4.1, PyTorch 2.5.0
Les résultats peuvent varier en fonction des configurations créées par les fabricants de serveurs. Les performances peuvent varier en fonction de la configuration, du software, de la version de vLLM et de l'utilisation des derniers pilotes et optimisations.
- MI300-081 - Tests réalisés par AMD Performance Labs en date du 15 mai 2025, pour mesurer les performances d'entraînement (en TFLOP) de la version de prévisualisation du software ROCm 7.0, avec Megatron-LM, sur huit GPU AMD Instinct MI300X, exécutant les modèles Llama 2-70B (4K), Qwen1.5-14B et Llama3.1-8B, dans un conteneur Docker personnalisé, comparé à un système configuré de manière similaire utilisant le software AMD ROCm 6.0.
Configuration hardware
CPU 1P AMD EPYC™ 9454, 8 GPU AMD Instinct MI300X (192 Go, 750 W), version du BIOS American Megatrends International LLC : 1.8, BIOS 1.8.
Configuration software
Ubuntu 22.04 LTS avec noyau Linux 5.15.0-70-generic
ROCm 7.0., Megatron-LM, PyTorch 2.7.0
vs
Version publique du software ROCm 6.0, branches de code Megatron-LM hanl/disable_te_llama2 pour Llama 2-7B, guihong_dev pour Llama 2-70B, renwuli/disable_te_qwen1.5 pour Qwen1.5-14B, PyTorch 2.2.
Les résultats peuvent varier en fonction des configurations créées par les fabricants de serveurs. Les performances peuvent varier en fonction de la configuration, du software, de la version de vLLM et de l'utilisation des derniers pilotes et optimisations.