Inférence économique pour l'IA d'entreprise
Alors que le secteur passe de l'entraînement des modèles à leur exécution, les CPU peuvent assurer un double rôle : exécuter l'IA et les charges de travail généralistes en parallèle.
Présentation
Déployez des modèles de petite et moyenne taille sur les CPU pour serveurs AMD EPYC™ 9005 (sur site ou dans le cloud) et maximisez la valeur de vos investissements en calcul.
Quel hardware est le mieux adapté aux différentes charges de travail d'inférence ?
Pour éviter le surprovisionnement et obtenir le meilleur retour sur vos investissements en IA, il est important d'adapter la taille de votre modèle et les exigences de latence selon le hardware approprié. Les dernières générations de CPU pour serveurs AMD EPYC peuvent gérer différentes tâches d'IA en plus des charges de travail généralistes. À mesure que la taille des modèles, les volumes développent et l'importance de la réduction des temps de latence augmentent, les GPU deviennent plus efficaces et plus économiques.
| Charge de travail d'inférence IA | Convient parfaitement pour... |
||
CPU |
CPU + GPU basé sur PCIe |
Clusters de GPU |
|
Traitement et classification de documents |
✓ |
|
|
Exploration et analyse de données |
✓ |
|
✓ |
Simulations scientifiques |
✓ |
|
|
Traduction |
✓ |
|
|
Indexation |
✓ |
|
|
Modération de contenu |
✓ |
|
|
Maintenance prédictive |
✓ |
|
✓ |
Assistants virtuels |
✓ |
✓ |
|
Chatbots |
✓ |
✓ |
|
Agents experts |
✓ |
✓ |
|
Sous-titres vidéo |
✓ |
✓ |
|
Détection des fraudes |
|
✓ |
✓ |
Prise de décision |
|
✓ |
✓ |
Tarification dynamique |
|
✓ |
✓ |
Filtrage audio et vidéo |
|
✓ |
✓ |
Opérations financières |
|
|
✓ |
Télécommunications et mise en réseau |
|
|
✓ |
Systèmes autonomes |
|
|
✓ |
Trouvez le meilleur hardware pour l'inférence
Selon les besoins de votre charge de travail, choisissez entre des CPU avec un nombre élevé de cœurs et une combinaison de CPU et de GPU pour profiter de performances optimales pour l'inférence. Découvrez quelle infrastructure correspond à la taille de votre modèle et à vos besoins en matière de latence.
5 charges de travail d'inférence IA qui s'exécutent sur un CPU
Les derniers CPU pour serveurs AMD EPYC sont capables de répondre aux exigences de performance d'une large gamme de charges de travail d'IA, notamment l'apprentissage machine classique, la vision par ordinateur et les agents d'IA. Découvrez cinq charges de travail courantes qui s'exécutent parfaitement sur les CPU.
Inférence rapide et efficace avec les CPU pour serveurs AMD EPYC
Qu'ils soient déployés uniquement en tant que CPU ou utilisés en tant qu'hôte pour les GPU exécutant de plus grands modèles, les CPU pour serveurs AMD EPYC sont conçus avec les dernières technologies à normes ouvertes afin d'accélérer les charges de travail d'inférence d'IA d'entreprise.
Les CPU pour serveur AMD EPYC de 5e génération surpassent les processeurs Intel Xeon 6 en termes d'inférence, d'IA de bout en bout et de machine learning
Les déclarations comparent les CPU pour serveur AMD EPYC 9965 de 5e génération aux Intel Xeon 6980P.
jusqu'à
89 %
Meilleures performances des chatbots sur DeepSeek³
jusqu'à
33 %
Meilleures performances d'inférence pour les cas d'usage de traduction sur Llama 3.1 8B⁴
jusqu'à
36 %
Meilleures performances d'inférence pour les cas d'usage de traduction sur Llama 3.2 1B⁵
- Petits modèles de langage
- Modèles de langage moyens
- Grands modèles de langage (LLM)
- Performances d'IA de bout en bout
- Apprentissage automatique classique
Traduction sur Llama 3.2 1B⁵
env. 1.36x
Essai sur Llama 3.2 1B⁵
env. 1.27x
AMD EPYC 9965 de 5e génération
Intel Xeon 6980P
Traduction sur Llama 3.1 8B⁴
env. 1.33x
Résumé sur GPT-J 6B⁶
~x1,28
AMD EPYC 9965 de 5e génération
Intel Xeon 6980P
Chatbot sur DeepSeek-R1 671B³
~x1,89
Essai sur DeepSeek-R1 671B³
env. 1.71x
Résumé sur DeepSeek-R1 671B³
env. 1.41x
Réécriture sur DeepSeek-R1 671B³
~1,20x
AMD EPYC 9965 de 5e génération
Intel Xeon 6980P
AMD EPYC 9965 de 5e génération
Intel Xeon 6980P
TPCx-ai@SF30 dérivée¹⁰
env. 1.70x
XGBoost (Higgs)¹¹
env. 1.93x
Recherche de similarité Facebook AI (FAISS)¹²
env. 1.60x
AMD EPYC 9965 de 5e génération
Intel Xeon 6980P
Foire aux questions
Tout d'abord, déterminez vos besoins en matière de performances. À quelle vitesse avez-vous besoin de réponses, en minutes, secondes ou millisecondes ? Quelle est la taille des modèles que vous utilisez en matière de paramètres ? Vous pouvez parfois répondre à vos exigences de performance simplement en optant pour un CPU AMD EPYC de 5e génération, évitant ainsi les coûts liés à l'ajout de hardware GPU.
Si vous n'avez pas besoin de réponses en temps réel, l'inférence par lots est une solution économique pour l'analyse à grande échelle ou à long terme (analyse des performances des campagnes ou maintenance prédictive, par exemple). L'inférence en temps réel, qui prend en charge des cas d'utilisation interactifs tels que le trading financier et les systèmes autonomes, peut nécessiter des accélérateurs de GPU. Bien que les CPU seuls soient excellents pour l'inférence par lots, les GPU sont mieux adaptés à l'inférence en temps réel.
Les CPU offrent à eux seuls des performances suffisantes pour exécuter l'inférence sur des modèles jusqu'à ~20 milliards de paramètres, avec des temps de réponse à latence intermédiaire (de quelques secondes à quelques minutes). Cela suffit pour de nombreux assistants IA, chatbots et agents. Envisagez d'ajouter des accélérateurs de GPU lorsque les modèles sont plus grands ou que les temps de réponse doivent être plus rapides.
La réponse est simple : cela dépend. La performance maximale pour une charge de travail dépend fortement de cette dernière et de l'expertise. Cela dit, certains CPU pour serveurs AMD EPYC de 5e génération surpassent les Intel Xeon 6 comparables pour de nombreuses charges de travail d'IA courantes, notamment les grands modèles de langage (DeepSeek‑R1 671B)3, les modèles de langage moyens (Llama 3.1 8B4 et GPT‑J 6B6) et les petits modèles de langage (Llama 3.2 1B).5
Les CPU pour serveur AMD EPYC intègrent AMD Infinity Guard, un ensemble de fonctionnalités de sécurité basées dans la puce.7 AMD Infinity Guard inclut AMD Secure Encrypted Virtualization (AMD SEV), une solution mature et largement adoptée de calcul confidentiel qui s'appuie sur des machines virtuelles confidentielles (VM) pour protéger les données, les modèles IA et les charges de travail en cours d'exécution.
AMD alimente l'ensemble du spectre de l'intelligence artificielle
Adaptez vos besoins en infrastructure à vos ambitions en matière d'IA. AMD offre le portefeuille d'IA le plus vaste, des plateformes basées sur des normes ouvertes et un écosystème puissant, le tout soutenu par un leadership en matière de performances.
Options de déploiement AMD EPYC
Vaste écosystème pour l'IA sur site
Trouvez du hardware d'IA d'entreprise auprès de nos partenaires OEM, y compris des serveurs avec un nombre de cœurs élevé et des CPU haute fréquence, une gamme de GPU haut de gamme et des solutions de mise en réseau interopérables.
Faites évoluer l'IA sur le cloud
Tirez le meilleur parti de votre cloud en choisissant des machines virtuelles (VM) basées sur la technologie AMD pour les charges de travail d'IA.
Cadres d'inférence pour le développement de software ouvert
Avec les softwares AMD ZenDNN et AMD ROCm™, les développeurs peuvent optimiser les performances de leurs applications tout en utilisant les structures de leur choix.
Ressources
S'abonner aux informations sur les centres de données d'AMD
Demandez à être contacté par un expert commercial AMD EPYC
Notes de bas de page
- 9xx5-169 : résultats du débit sous contrainte de latence (goodput) de Llama‑3.3‑70B, basés sur les tests internes d'AMD en date du 14/05/2025. Configurations : Llama-3.3-70B, serveur API vLLM v1.0, jeu de données : Sonnet3,5-SlimOrcaDedupCleaned, TP8, 512 demandes max. (création de lot dynamique), temps de latence limité jusqu'au premier jeton (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, résultats en jetons/s. 2P AMD EPYC 9575F (128 cœurs au total, TDP 400 W, système de production, 1,5 To de DDR5‑6400 — 24×64 Go — fonctionnant à 6000 MT/s, 2 x 25 GbE ConnectX‑6 Lx MT2894, 4 x SSD Samsung MZWLO3T8HCLS‑00A07 de 3,84 To ; NVMe Micron 7450 MTFDKCC800TFS de 800 Go pour l’OS, Ubuntu 22.04.3 LTS, kernel 5.15.0-117-generic, BIOS 3.2, SMT désactivé, déterminisme = alimentation, atténuations désactivées) associé à 8 x NVIDIA H100. 2P Intel Xeon 8592+ (128 cœurs au total, TDP de 350 W, système de production, 1 To 16 x 64 Go de DDR5-5600, 2 x 25 GbE ConnectX-6 Lx (MT2894), 4 x 3,84 To Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKBA480TFR 480GB NVMe, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT désactivé, biais de performances, atténuations désactivées) avec 8 x NVIDIA H100. Résultats : CPU 300 400 500 600 ; 8592+ 0 126,43 1565,65 1987,19 ; 9575F 346,11 2326,21 ; 2531,38 2572,42 ; NA relatif 18,40 1,62 1,29. Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS. Informations TDP de ark.intel.com
- Technologie Parallel Draft Models (PARD) sur Llama‑3.2‑1B‑Instruct. Consultez les configurations : https://www.amd.com/en/developer/resources/technical-articles/2025/speculative-llm-inference-on-the-5th-gen-amd-epyc-processors-wit.html
- 9xx5-152A : résultats du débit Deepseek-R1-671B basés sur les tests internes d'AMD en date du 28/01/2025. Configurations : framework llama.cpp, quantification 1,58 bits (UD_IQ1_S, MoE à 1,56 bits), tailles de lot 1 et 4, instances 16 cœurs, configurations des jetons d'entrée/sortie du cas d'utilisation : [Chatbot = 128/128, Essai = 128/1024, Résumé = 1024/128, Réécriture = 1024/1024]. 2P AMD EPYC 9965 (384 cœurs au total, TDP de 500 W, système de référence, 3 To 24x128 Go DDR5-6400, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT activé, déterminisme = puissance, atténuations activées 2P AMD EPYC 9755 (256 cœurs au total, TDP de 500 W, système de référence, 3 To 24x128 Go DDR5-6400, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=activé, déterminisme=puissance, atténuations=activées) 2P Intel Xeon 6980P (256 cœurs au total, TDP de 500 W, système de production, 3 To 24 x 64 Go DDR5-6400, Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe 4 x 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 3,84 To, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic, SMT activé, biais de performances, atténuations activées) Résultats : BS=1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47,31 61,88 70,344 1,308 1,487 Essai 42,97 56,04 61,608 1,304 1,434 Résumé 44,99 59,39 62,304 1,32 1,385 Réécriture 41,8 68,44 55,08 1,637 1,318 BS=4 6980P 9755 Rel9755 Rel9965 Chatbot 76,01 104,46 143,496 1,374 1,888 Essai 67,89 93,68 116,064 1,38 1,71 Résumé 70,88 103,39 99,96 1,459 1,41 Réécriture 65 87,9 78,12 1,352 1,202 Les résultats peuvent varier en fonction des configurations du système, des versions software et des paramètres du BIOS.
- 9xx5-156 : résultats du débit Llama3.1-8B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations Llama3.1-8B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, Linux RVOT1004A.0-52-generic, BIOS 6.8, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=52, ZenDNN 5.0.1 2P Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées Biais de performances), IPEX 2.6.0 Résultats : CPU 6980P 9755 9965 Résumé 1 n/a 1,093 Traduction 1 1,062 1,334 Essai 1 n/a 1,14 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-166 : résultats du débit Llama3.2-1B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations Llama3.3-1B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P, Python 3.10.12, Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances), IPEX 2.6.0, Python 3.12.3 Résultats : CPU 6980P 9965 Résumé 1 1,213 Traduction 1 1,364 Essai 1 1,271 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-158 : résultats du débit GPT-J-6B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations GPT-J-6B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P, Python 3.10.12 AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, Linux RVOT1004A.0-52-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances), IPEX 2.6.0, Python 3.12.3 Résultats : CPU 6980P 9755 9965 Résumé 1 1,034 1,279 Chatbot 1 0,975 1,163 Traduction 1 1,021 0,93 Essai 1 0,978 1,108 Légende 1 0,913 1,12 Général 1 0,983 1,114 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- GD-183A Les fonctionnalités d'AMD Infinity Guard varient selon les générations et/ou les séries de processeurs EPYC™. Pour être exécutées, les fonctionnalités de sécurité d'Infinity Guard doivent être activées par les OEM des serveurs, et/ou par les fournisseurs de services cloud. Demandez à votre OEM ou à votre fournisseur si ces fonctionnalités sont prises en charge. Pour en savoir plus sur Infinity Guard, rendez-vous sur https://www.amd.com/fr/products/processors/server/epyc/infinity-guard.html.
- 9xx5-002F : Comparaison SPECrate®2017_int_base basée sur les scores publiés à l'adresse suivante le 04/12/2025 : www.spec.org. Les résultats et configurations ci-dessous sont présentés au format suivant : [processeur], [cœurs], [TDP], [prix 1Ku en USD], [score SPECrate®2017)_int_base], [score SPECrate® 2017)_int_base / W CPU], [score SPECrate® 2017)_int_base/prix 1Ku en USD], [Lien vers le score]
2P AMD EPYC 9654, 96C, 360 W, 8 452 $ USD, 1 830, 5,083, 0,217, https://www.spec.org/cpu2017/results/res2025q3/cpu2017-20250727-49206.html
2P AMD EPYC 9754, 128C, 360 W, 10 631 $ USD, 1 950, 5,417, 0,183, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html
2P AMD EPYC 9755, 128C, 500 W, 10 931 USD, 2 840, 5,680, 0,260, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html
2P AMD EPYC 9965, 192C, 500 W, 11 988 $ USD, 3 230, 6,460, 0,269, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html
2P Intel Xeon 6780E, 144C, 330 W, 8 513 USD, 1 410, 4,273, 0,166, https://www.spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html
2P Intel Xeon 6980P, 128C, 500 W, 12 460 $ USD, 2 510, 5,020, 0,201, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html
2P Intel Xeon Platinum 8592+, 64C, 350 W, 11 600 $ USD, 1 130, 3,229, 0,097, https://www.spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html
SPEC®, SPEC CPU® et SPECrate® sont des marques déposées de la Standard Performance Evaluation Corporation. Rendez-vous sur www.spec.org pour plus d'informations. Prix des CPU AMD en date du 09/12/2025. W et prix des CPU Intel sur le site https://ark.intel.com/ en date du 09/12/2025.
- 9xx5-001 : basé sur les tests internes d'AMD en date du 10/09/2024, amélioration des performances de la moyenne géométrique (IPC) à fréquence fixe. - Charges de travail de serveur ML/HPC EPYC de 5e génération : gain d'IPC générationnel de 1,369x (moyenne géométrique) à l'aide d'un ensemble de 24 charges de travail sélectionnées. Il s'agit de la moyenne géométrique des charges de travail de serveur ML représentatives (moyenne géométrique) et des charges de travail de serveur HPC représentatives (moyenne géométrique). Configuration « Genoa » (tous avec NPS1) : EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/CCD en 12+1), FF 3 GHz, 12x DDR5-4800 (2Rx4 64 Gbit), xGMI 32 Gbit/s ; Configuration « Turin » (tous avec NPS1) : EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD dans 12+1), FF 3 GHz, 12x DDR5-6000 (2Rx4 64 Go), 32 Gbit/s xGMI utilisant la détermination des performances et du gouverneur de performances sur un système d'exploitation Ubuntu® 22.04 avec un noyau 6.8.0-40-generic pour toutes les charges de travail, sauf LAMMPS, HPCG, NAMD, OpenFOAM et Gromacs qui utilisaient 24.04 avec un noyau 6.8.0-40-generic. SPEC® et SPECrate® sont des marques déposées de la Standard Performance Evaluation Corporation. Pour en savoir plus, visitez spec.org.
- 9xx5-151 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 01/04/2025 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI. 2P AMD EPYC 9965 (6 067,53 AIUCpm au total, 384 cœurs au total, TDP de 500 W, système de référence AMD, DDR5-6400 1,5 To 24x64 Go, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu® 24.04 LTS 6.13, SMT activé, déterminisme = alimentation, atténuations activées) 2P AMD EPYC 9755 (4 073,42 AIUCpm au total, 256 cœurs au total, TDP de 500 W, système de référence AMD, DDR5-6400 1,5 To 24x64 Go, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu® 24.04 LTS 6.13, SMT activé, déterminisme = alimentation, atténuations activées) 2P Intel Xeon 6980P (3 550,50 AIUCpm au total, 256 cœurs au total, TDP de 500 W, système de production, DDR5-6400 1,5 To 24x64 Go, Broadcom NetXtreme BCM5719 4 x 1 GbE, Gigabit Ethernet PCIe, NVMe SAMSUNG MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu 24.04 LTS 6.13, SMT activé, biais de performances, atténuations activées) Les résultats peuvent varier en fonction de facteurs tels que, sans s'y limiter, les configurations système, les versions software et les paramètres du BIOS. TPC, TPC Benchmark et TPC-H sont des marques commerciales du Transaction Processing Performance Council.
- 9xx5-162 : résultats de débit XGBoost (exécutions/heure) basés sur les tests internes d'AMD en date du 08/04/2025. Configurations XGBoost : v1.7.2, jeu de données Higgs, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation) NPS=1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1 2P Xeon 6980P (256 cœurs au total), DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances) Résultats : débit relatif du CPU 2P 6980P 400 1 2P 9755 436 1,090 2P 9965 771 1,928 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-164 : résultats de débit FAISS (exécutions/heure) basés sur les tests internes d'AMD en date du 08/04/2025. Configurations FAISS : v1.8.0, jeu de données sift1m, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation) NPS=1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1 2P Xeon 6980P (256 cœurs au total), DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, Biais de performances) Résultats : débit relatif 2P 6980P 36,63 1 2P 9755 46,86 1,279 2P 9965 58,6 1,600 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-012 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 05/09/2024 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI.
2P AMD EPYC 9965 (384 cœurs au total), 12 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9755 (256 cœurs au total), 8 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9654 (192 cœurs au total), 6 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-4800, 1 DPC, NVMe Samsung MZQL21T9HCJR-00A07 2 x 1,92 To, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=désactivé, déterminisme=puissance)
Par rapport à 2P Xeon Platinum 8592+ (128 cœurs au total), 4 instances 32 cœurs, AMX activé, 1 To 16x64 Go de DDR5-5600, 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe KIOXIA KCMYXRUG3T84 3,84 To, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (performance de débit du profil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
Les résultats :
Médiane relative générationnelle des CPU
Turin 192 cœurs, 12 instances 6067.531 3.775 2.278
Turin 128 cœurs, 8 instances 4091.85 2.546 1.536
Genoa 96 cœurs, 6 instances 2663.14 1.657 1
EMR 64 cœurs, 4 instances 1607.417 1 NA
Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS. TPC, TPC Benchmark et TPC-C sont des marques déposées du Transaction Processing Performance Council.
Notes de bas de page
- 9xx5-169 : résultats du débit sous contrainte de latence (goodput) de Llama‑3.3‑70B, basés sur les tests internes d'AMD en date du 14/05/2025. Configurations : Llama-3.3-70B, serveur API vLLM v1.0, jeu de données : Sonnet3,5-SlimOrcaDedupCleaned, TP8, 512 demandes max. (création de lot dynamique), temps de latence limité jusqu'au premier jeton (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, résultats en jetons/s. 2P AMD EPYC 9575F (128 cœurs au total, TDP 400 W, système de production, 1,5 To de DDR5‑6400 — 24×64 Go — fonctionnant à 6000 MT/s, 2 x 25 GbE ConnectX‑6 Lx MT2894, 4 x SSD Samsung MZWLO3T8HCLS‑00A07 de 3,84 To ; NVMe Micron 7450 MTFDKCC800TFS de 800 Go pour l’OS, Ubuntu 22.04.3 LTS, kernel 5.15.0-117-generic, BIOS 3.2, SMT désactivé, déterminisme = alimentation, atténuations désactivées) associé à 8 x NVIDIA H100. 2P Intel Xeon 8592+ (128 cœurs au total, TDP de 350 W, système de production, 1 To 16 x 64 Go de DDR5-5600, 2 x 25 GbE ConnectX-6 Lx (MT2894), 4 x 3,84 To Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKBA480TFR 480GB NVMe, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT désactivé, biais de performances, atténuations désactivées) avec 8 x NVIDIA H100. Résultats : CPU 300 400 500 600 ; 8592+ 0 126,43 1565,65 1987,19 ; 9575F 346,11 2326,21 ; 2531,38 2572,42 ; NA relatif 18,40 1,62 1,29. Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS. Informations TDP de ark.intel.com
- Technologie Parallel Draft Models (PARD) sur Llama‑3.2‑1B‑Instruct. Consultez les configurations : https://www.amd.com/en/developer/resources/technical-articles/2025/speculative-llm-inference-on-the-5th-gen-amd-epyc-processors-wit.html
- 9xx5-152A : résultats du débit Deepseek-R1-671B basés sur les tests internes d'AMD en date du 28/01/2025. Configurations : framework llama.cpp, quantification 1,58 bits (UD_IQ1_S, MoE à 1,56 bits), tailles de lot 1 et 4, instances 16 cœurs, configurations des jetons d'entrée/sortie du cas d'utilisation : [Chatbot = 128/128, Essai = 128/1024, Résumé = 1024/128, Réécriture = 1024/1024]. 2P AMD EPYC 9965 (384 cœurs au total, TDP de 500 W, système de référence, 3 To 24x128 Go DDR5-6400, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT activé, déterminisme = puissance, atténuations activées 2P AMD EPYC 9755 (256 cœurs au total, TDP de 500 W, système de référence, 3 To 24x128 Go DDR5-6400, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=activé, déterminisme=puissance, atténuations=activées) 2P Intel Xeon 6980P (256 cœurs au total, TDP de 500 W, système de production, 3 To 24 x 64 Go DDR5-6400, Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe 4 x 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 3,84 To, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic, SMT activé, biais de performances, atténuations activées) Résultats : BS=1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47,31 61,88 70,344 1,308 1,487 Essai 42,97 56,04 61,608 1,304 1,434 Résumé 44,99 59,39 62,304 1,32 1,385 Réécriture 41,8 68,44 55,08 1,637 1,318 BS=4 6980P 9755 Rel9755 Rel9965 Chatbot 76,01 104,46 143,496 1,374 1,888 Essai 67,89 93,68 116,064 1,38 1,71 Résumé 70,88 103,39 99,96 1,459 1,41 Réécriture 65 87,9 78,12 1,352 1,202 Les résultats peuvent varier en fonction des configurations du système, des versions software et des paramètres du BIOS.
- 9xx5-156 : résultats du débit Llama3.1-8B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations Llama3.1-8B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, Linux RVOT1004A.0-52-generic, BIOS 6.8, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=52, ZenDNN 5.0.1 2P Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées Biais de performances), IPEX 2.6.0 Résultats : CPU 6980P 9755 9965 Résumé 1 n/a 1,093 Traduction 1 1,062 1,334 Essai 1 n/a 1,14 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-166 : résultats du débit Llama3.2-1B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations Llama3.3-1B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P, Python 3.10.12, Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances), IPEX 2.6.0, Python 3.12.3 Résultats : CPU 6980P 9965 Résumé 1 1,213 Traduction 1 1,364 Essai 1 1,271 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-158 : résultats du débit GPT-J-6B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations GPT-J-6B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P, Python 3.10.12 AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, Linux RVOT1004A.0-52-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances), IPEX 2.6.0, Python 3.12.3 Résultats : CPU 6980P 9755 9965 Résumé 1 1,034 1,279 Chatbot 1 0,975 1,163 Traduction 1 1,021 0,93 Essai 1 0,978 1,108 Légende 1 0,913 1,12 Général 1 0,983 1,114 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- GD-183A Les fonctionnalités d'AMD Infinity Guard varient selon les générations et/ou les séries de processeurs EPYC™. Pour être exécutées, les fonctionnalités de sécurité d'Infinity Guard doivent être activées par les OEM des serveurs, et/ou par les fournisseurs de services cloud. Demandez à votre OEM ou à votre fournisseur si ces fonctionnalités sont prises en charge. Pour en savoir plus sur Infinity Guard, rendez-vous sur https://www.amd.com/fr/products/processors/server/epyc/infinity-guard.html.
- 9xx5-002F : Comparaison SPECrate®2017_int_base basée sur les scores publiés à l'adresse suivante le 04/12/2025 : www.spec.org. Les résultats et configurations ci-dessous sont présentés au format suivant : [processeur], [cœurs], [TDP], [prix 1Ku en USD], [score SPECrate®2017)_int_base], [score SPECrate® 2017)_int_base / W CPU], [score SPECrate® 2017)_int_base/prix 1Ku en USD], [Lien vers le score]
2P AMD EPYC 9654, 96C, 360 W, 8 452 $ USD, 1 830, 5,083, 0,217, https://www.spec.org/cpu2017/results/res2025q3/cpu2017-20250727-49206.html
2P AMD EPYC 9754, 128C, 360 W, 10 631 $ USD, 1 950, 5,417, 0,183, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html
2P AMD EPYC 9755, 128C, 500 W, 10 931 USD, 2 840, 5,680, 0,260, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html
2P AMD EPYC 9965, 192C, 500 W, 11 988 $ USD, 3 230, 6,460, 0,269, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html
2P Intel Xeon 6780E, 144C, 330 W, 8 513 USD, 1 410, 4,273, 0,166, https://www.spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html
2P Intel Xeon 6980P, 128C, 500 W, 12 460 $ USD, 2 510, 5,020, 0,201, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html
2P Intel Xeon Platinum 8592+, 64C, 350 W, 11 600 $ USD, 1 130, 3,229, 0,097, https://www.spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html
SPEC®, SPEC CPU® et SPECrate® sont des marques déposées de la Standard Performance Evaluation Corporation. Rendez-vous sur www.spec.org pour plus d'informations. Prix des CPU AMD en date du 09/12/2025. W et prix des CPU Intel sur le site https://ark.intel.com/ en date du 09/12/2025. - 9xx5-001 : basé sur les tests internes d'AMD en date du 10/09/2024, amélioration des performances de la moyenne géométrique (IPC) à fréquence fixe. - Charges de travail de serveur ML/HPC EPYC de 5e génération : gain d'IPC générationnel de 1,369x (moyenne géométrique) à l'aide d'un ensemble de 24 charges de travail sélectionnées. Il s'agit de la moyenne géométrique des charges de travail de serveur ML représentatives (moyenne géométrique) et des charges de travail de serveur HPC représentatives (moyenne géométrique). Configuration « Genoa » (tous avec NPS1) : EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/CCD en 12+1), FF 3 GHz, 12x DDR5-4800 (2Rx4 64 Gbit), xGMI 32 Gbit/s ; Configuration « Turin » (tous avec NPS1) : EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD dans 12+1), FF 3 GHz, 12x DDR5-6000 (2Rx4 64 Go), 32 Gbit/s xGMI utilisant la détermination des performances et du gouverneur de performances sur un système d'exploitation Ubuntu® 22.04 avec un noyau 6.8.0-40-generic pour toutes les charges de travail, sauf LAMMPS, HPCG, NAMD, OpenFOAM et Gromacs qui utilisaient 24.04 avec un noyau 6.8.0-40-generic. SPEC® et SPECrate® sont des marques déposées de la Standard Performance Evaluation Corporation. Pour en savoir plus, visitez spec.org.
- 9xx5-151 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 01/04/2025 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI. 2P AMD EPYC 9965 (6 067,53 AIUCpm au total, 384 cœurs au total, TDP de 500 W, système de référence AMD, DDR5-6400 1,5 To 24x64 Go, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu® 24.04 LTS 6.13, SMT activé, déterminisme = alimentation, atténuations activées) 2P AMD EPYC 9755 (4 073,42 AIUCpm au total, 256 cœurs au total, TDP de 500 W, système de référence AMD, DDR5-6400 1,5 To 24x64 Go, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu® 24.04 LTS 6.13, SMT activé, déterminisme = alimentation, atténuations activées) 2P Intel Xeon 6980P (3 550,50 AIUCpm au total, 256 cœurs au total, TDP de 500 W, système de production, DDR5-6400 1,5 To 24x64 Go, Broadcom NetXtreme BCM5719 4 x 1 GbE, Gigabit Ethernet PCIe, NVMe SAMSUNG MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu 24.04 LTS 6.13, SMT activé, biais de performances, atténuations activées) Les résultats peuvent varier en fonction de facteurs tels que, sans s'y limiter, les configurations système, les versions software et les paramètres du BIOS. TPC, TPC Benchmark et TPC-H sont des marques commerciales du Transaction Processing Performance Council.
- 9xx5-162 : résultats de débit XGBoost (exécutions/heure) basés sur les tests internes d'AMD en date du 08/04/2025. Configurations XGBoost : v1.7.2, jeu de données Higgs, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation) NPS=1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1 2P Xeon 6980P (256 cœurs au total), DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances) Résultats : débit relatif du CPU 2P 6980P 400 1 2P 9755 436 1,090 2P 9965 771 1,928 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-164 : résultats de débit FAISS (exécutions/heure) basés sur les tests internes d'AMD en date du 08/04/2025. Configurations FAISS : v1.8.0, jeu de données sift1m, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation) NPS=1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1 2P Xeon 6980P (256 cœurs au total), DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, Biais de performances) Résultats : débit relatif 2P 6980P 36,63 1 2P 9755 46,86 1,279 2P 9965 58,6 1,600 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-012 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 05/09/2024 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI.
2P AMD EPYC 9965 (384 cœurs au total), 12 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9755 (256 cœurs au total), 8 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9654 (192 cœurs au total), 6 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-4800, 1 DPC, NVMe Samsung MZQL21T9HCJR-00A07 2 x 1,92 To, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=désactivé, déterminisme=puissance)
Par rapport à 2P Xeon Platinum 8592+ (128 cœurs au total), 4 instances 32 cœurs, AMX activé, 1 To 16x64 Go de DDR5-5600, 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe KIOXIA KCMYXRUG3T84 3,84 To, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (performance de débit du profil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
Les résultats :
Médiane relative générationnelle des CPU
Turin 192 cœurs, 12 instances 6067.531 3.775 2.278
Turin 128 cœurs, 8 instances 4091.85 2.546 1.536
Genoa 96 cœurs, 6 instances 2663.14 1.657 1
EMR 64 cœurs, 4 instances 1607.417 1 NA
Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS. TPC, TPC Benchmark et TPC-C sont des marques déposées du Transaction Processing Performance Council.