Webinaire en vedette

Découvrez comment les processeurs AMD EPYC™ Série 9004 vous permettent de déployer un traitement par IA basé sur le CPU efficace pour les petits modèles d'IA, de nombreuses charges de travail d'inférence et d'apprentissage automatique classiques, ainsi que des charges de travail de calcul traditionnelles augmentées par l'IA.

S'inscrire maintenant
Abstract connected dots and lines

Un portefeuille leader du secteur pour les charges de travail d'inférence d'IA d'entreprise

L'inférence d'IA utilise un modèle d'IA entraîné pour faire des prédictions sur les nouvelles données.  AMD propose toute une gamme de solutions d'inférence d'IA adaptées à la taille de votre modèle et aux exigences de votre application.  Les CPU AMD EPYC™ sont idéals pour les modèles d'IA et les charges de travail de petite et moyenne taille où la proximité avec les données est importante. Les GPU AMD Instinct™ sont parfaitement adaptés aux grands modèles et aux déploiements d'IA dédiés nécessitant des performances et une évolutivité très élevées. Les deux modèles offrent des performances et une efficacité impressionnantes, ce qui vous permet de choisir la solution adaptée à vos besoins.

Modèle de petite taille

Taille du modèle   Type Avantages Inconvénients Cas d'utilisation types
Petit   Classique
  • Inférence plus rapide
  • Ressources nécessaires réduites
  • Précision inférieure
  • Tâches peu complexes
  • Reconnaissance d'image (de base)
  • Analyse des sentiments
  • Détection des spams
Génératif
  • Génération de contenu créatif (musique, art, etc.)
  • Personnalisation
  • Contrôle limité du résultat
  • Risque de biais
  • Génération de texte (court)
  • Chatbots
Lire le livre blanc

Modèle de moyenne taille

Taille du modèle   Type Avantages Inconvénients Cas d'utilisation types
Moyen Classique
  • Équilibre entre vitesse et précision
  • Tâches moyennement complexes
  • Peut nécessiter plus de données d'entraînement
  • Moins efficace pour les grands ensembles de données
  • Détection d'objets dans les vidéos
  • Traduction automatique
  • Chatbots de service client
Prédictif
  • Prévisions précises pour diverses tâches
  • Adaptable aux grands ensembles de données
  • Peut coûter cher niveau calcul
  • Nécessite une préparation minutieuse des données
  • Détection des fraudes
  • Évaluation des risques
  • Prévision des ventes
Lire le livre blanc

Modèle de grande taille

Taille du modèle   Type Avantages Inconvénients Cas d'utilisation types
Grand   Génératif
  • Génération de contenu très réaliste et complexe
  • Compréhension linguistique avancée
  • Nécessite beaucoup de ressources
  • Risque élevé de biais et de préoccupations éthiques
  • Génération de texte (complexe)
  • Génération d'images et de vidéos
  • Conception de contenu créatif
Classique
  • Haute précision pour les tâches complexes
  • Peut gérer des ensembles de données volumineux et divers
  • Nécessite énormément de ressources
  • Difficile à interpréter et à expliquer
  • Diagnostics médicaux
  • Véhicules autonomes
  • Reconnaissance faciale
Prédictif
  • Prévisions extrêmement précises avec de grands ensembles de données
  • Gère les relations et les modèles complexes
  • Entraînement et exploitation coûteux
  • Nécessite des données et une expertise approfondies
  • Recommandations personnalisées
  • Analyse des marchés financiers
  • Recherches scientifiques
Lire le livre blanc

Applications et secteurs

Les modèles d'IA intégrés à la vision par ordinateur, au traitement du langage naturel et aux systèmes de recommandation ont eu un impact considérable sur les entreprises de plusieurs secteurs. Ces modèles aident les entreprises à reconnaître les objets, à classer les anomalies, à comprendre les mots écrits et prononcés, et à formuler des recommandations. En accélérant le développement de ces modèles, les entreprises peuvent en tirer des avantages, quel que soit leur secteur d'activité.

Automated Driving Illustration

Automobile

Les modèles de vision par ordinateur permettent aux voitures autonomes d'avancer et de reconnaître la signalisation, les piétons et les autres véhicules à éviter. Les modèles de traitement du langage naturel peuvent aider à reconnaître les commandes vocales de la télématique embarquée.

data image

Services financiers

La détection des anomalies basée sur l'IA permet d'arrêter les fraudes à la carte de crédit, tandis que les modèles de vision par ordinateur détectent les documents suspects, y compris les chèques des clients.

abstract retail image

Commerce de détail

Automatisez les caisses grâce à la reconnaissance des produits, ou créez des expériences d'achat autonomes où les modèles relient les clients aux articles qu'ils choisissent et mettent dans leurs sacs de courses. Utilisez des moteurs de recommandation de produits pour proposer des alternatives, en ligne ou en magasin.

Lire l'infographie Dell AMD
Manufacturing Gears

Fabrication

Utilisez des modèles de vision par ordinateur pour surveiller la qualité des produits fabriqués, qu'il s'agisse de produits alimentaires, de cartes de circuit imprimé, etc. Alimentez les moteurs de recommandation avec les données de télémétrie pour suggérer une maintenance proactive : les disques sont-ils sur le point de tomber en panne ? Le moteur utilise-t-il trop d'huile ?

Regarder le webinaire
Top view of cardiologist doctor medical healthcare desk

Médical

Détectez les anomalies, y compris les fractures et les tumeurs, à l'aide de modèles de vision par ordinateur. Utilisez les mêmes modèles dans la recherche pour évaluer la croissance et la prolifération cellulaires in vitro.

Lire l'infographie Dell AMD
Big data analytics AI technology

Automatisation des services

Lorsque le service informatique est en contact avec les clients, le traitement du langage naturel peut aider à prendre des mesures en fonction des demandes formulées, et les moteurs de recommandation peuvent aider les clients à trouver des solutions satisfaisantes et des alternatives de produits.

Le choix idéal pour les charges de travail d'inférence d'IA d'entreprise

Qu'ils soient déployés uniquement en tant que CPU ou utilisés en tant qu'hôte pour les GPU exécutant de plus grands modèles, les processeurs AMD EPYC™ Série 9004 sont conçus avec les dernières technologies à normes ouvertes pour accélérer les charges de travail d'inférence d'IA d'entreprise.

Conçus pour l'inférence d'IA

Jusqu'à 128 cœurs AMD « Zen 4 » avec prise en charge des instructions AVX-512 offrent un excellent parallélisme pour les charges de travail d'inférence d'IA, réduisant ainsi le besoin d'accélération des GPU.

Efficacité énergétique exceptionnelle : les processeurs AMD EPYC™ propulsent les serveurs les plus économes en énergie et offrent des performances exceptionnelles, assorties de coûts énergétiques réduits1.

Traitement et E/S rapides : augmentation de 14 % du nombre d'instructions par cycle d'horloge, mémoire DDR5 et E/S PCIe® de 5e génération pour un traitement rapide des données2.

Lire l'infographie
Découvrez 5 raisons de choisir AMD EPYC pour l'inférence d'IA
AMD EPYC™ 9004 processor

Optimisations logicielles d'AMD pour l'inférence d'IA

Prise en charge d'infrastructures : AMD prend en charge les infrastructures d'IA les plus populaires, notamment TensorFlow, PyTorch et ONNX Runtime, pour couvrir divers cas d'utilisation tels que la classification d'images et les moteurs de recommandation.

Open source et compatibilité : les optimisations sont intégrées aux infrastructures courantes offrant une compatibilité étendue et une facilité d'utilisation des structures open source en amont.  De plus, AMD travaille avec Hugging Face pour permettre à ses modèles open source de fonctionner immédiatement avec ZenDNN.

Modules complémentaires ZenDNN : ces modules complémentaires accélèrent les charges de travail d'inférence d'IA en optimisant les opérateurs, en exploitant les micro-noyaux et en mettant en œuvre un multithreading efficace sur les cœurs AMD EPYC.

Lire le blog
Zoom sur l'image
AMD Software Optimizations Diagram

La sécurité des données est encore plus importante à l'ère de l'IA

Mettre en place des mesures de sécurité avancées devient d'autant plus urgent que l'utilisation de la numérisation, du cloud computing, de l'IA et d'autres technologies émergentes stimule la croissance des données. Ce besoin de sécurité accru est encore amplifié par l'importance croissante accordée aux réglementations mondiales en matière de confidentialité et les lourdes sanctions en cas de violation, ce qui souligne la valeur inégalée des données dans un contexte de risques de sécurité croissants.

Intégrée au niveau du silicium, la technologie AMD Infinity Guard offre les capacités avancées nécessaires pour mieux vous défendre contre les menaces internes et externes et assurer la sécurité de vos données3.

En savoir plus
Cyber security illustration

Les serveurs basés sur les processeurs AMD EPYC™ 9004 et les instances cloud permettent de mettre en place des solutions d'IA rapides et efficaces à proximité de vos clients et de vos données.

 

Modèles de charges de travail d'IA de petite et moyenne taille

Serveurs 2P exécutant Llama2-7B CHAT-HF et 13B CHAT-HF LLM⁴ (jetons relatifs/seconde)
AMD EPYC™ 9654
1,36x
Xeon® Platinum® 8480+
1,0x 
Serveurs 2P exécutant Phi-3 Mini (4K)⁵ (jetons relatifs/seconde)
AMD EPYC™ 9654
1,24x
Xeon® Platinum® 8592+
1,0x
Instance AWS exécutant DLRMv2 à une précision Int8⁶
EPYC de 4e génération (HPC7a.96xl)
~1,44x
Xeon de 4e génération (M7i.48xl)
1,0x
Instance AWS exécutant MiniLM avec PyTorch et un moteur Neural Magic Deepsparse à une précision FP32⁷
EPYC de 4e génération (m7a.48xl)
~1,78x
Xeon de 4e génération (M7i.48xl)
1,0x
Instance AWS exécutant Llama2-7B à une précision BF16⁸
EPYC de 4e génération (m7a.8xl)
~1,19x
Xeon de 4e génération (M7i.8xl)
1,0x

Modèles de charges de travail de ML classiques

Serveurs 2P exécutant Clustering FAISS⁹ (clustering/seconde)
AMD EPYC™ 9654
Jusqu'à ~2x
Xeon® Platinum® 8592+
1,0x
Serveurs 2P exécutant XGBoost avec explosion de particules du boson de Higgs¹⁰ (débit)
AMD EPYC™ 9654
Jusqu'à ~1,7x
Xeon® Platinum® 8592+
1,0x
Serveurs 2P exécutant une classification sur des forêts de décisions aléatoires (débit SciKit-Learning RandomForest airline_ohe)¹¹
AMD EPYC™ 9654
Jusqu'à ~1,36x
Xeon® Platinum® 8592+
1,0x
Serveurs 2P exécutant l'inférence de segmentation OpenVINO™ Road¹² (images/seconde par W de CPU)
AMD EPYC™ 9754
Jusqu'à ~2,4x
Xeon® Platinum® 8592+
1,0x
Serveurs 2P exécutant TPCx-AI à SF30¹³ (débit/min)
AMD EPYC™ 9654
Jusqu'à ~1,65x
Xeon® Platinum® 8592+
1,0x

Ressources

Présentation sur l'IA d'entreprise avec AMD EPYC

Trouvez des documents AMD et partenaires décrivant les innovations en matière d'IA et d'apprentissage automatique (ML)

Visitez la bibliothèque

Bibliothèque AMD ZenDNN

Performances de deep learning open source améliorées sur les processeurs AMD EPYC.

En savoir plus

Podcasts

Écoutez des experts des technologies d'AMD et du secteur discuter des dernières tendances concernant les serveurs, le cloud computing, l'IA, le calcul hautes performances, etc.

Visiter les archives
Notes de bas de page
  1. EPYC-028D : SPECpower_ssj® 2008, SPECrate®2017_int_energy_base et SPECrate®2017_fp_energy_base basés sur les résultats publiés sur le site Web de SPEC le 21/02/2024. Résultats basés sur le rapport puissance-performance du serveur / le rapport puissance-performance du serveur et du stockage (PPKW) VMmark®, publiés sur https://www.vmware.com/products/vmmark/results3x.1.html?sort=score. Les 105 premières publications SPECpower_ssj®2008 avec les résultats d'efficacité globale ssj_ops/W les plus élevés étaient propulsées par des processeurs AMD EPYC. Pour SPECrate®2017 Integer (Energy Base), les CPU AMD EPYC propulsent les 8 premiers scores performance-système W SPECrate®2017_int_energy_base. Pour SPECrate®2017 Floating Point (Energy Base), les CPU AMD EPYC propulsent les 12 premiers scores performance-système W SPECrate®2017_fp_energy_base. Pour le rapport puissance-performance du serveur VMmark® (PPKW), les 5 meilleurs résultats des paires de 2 et 4 sockets doivent surpasser les résultats de tous les autres sockets. Pour le rapport puissance-performance du serveur et du stockage VMmark® (PPKW), ils obtiennent le meilleur score global. Rendez-vous sur https://www.amd.com/fr/claims/epyc4#faq-EPYC-028D pour obtenir la liste complète. Pour de plus amples informations sur les objectifs de développement durable d'AMD, rendez-vous sur https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html. Pour plus d'informations sur SPEC®, rendez-vous sur http://www.spec.org. SPEC, SPECrate et SPECpower sont des marques déposées de la Standard Performance Evaluation Corporation. VMmark est une marque déposée de VMware aux États-Unis ou dans d'autres pays.
  2. EPYC-038 : basé sur des tests internes réalisés par AMD le 19/09/2022, amélioration des performances de la moyenne géométrique mesurée à fréquence égale sur un CPU AMD EPYC™ 9554 de 4e génération par rapport à un CPU AMD EPYC™ 7763 de 3e génération, en utilisant un ensemble sélectionné de charges de travail (33), y compris est. SPECrate®2017_int_base, est. SPECrate®2017_fp_base et des charges de travail de serveur représentatives. SPEC® et SPECrate® sont des marques déposées de la Standard Performance Evaluation Corporation. Pour en savoir plus, visitez spec.org.
  3. GD-183A Les fonctionnalités d'AMD Infinity Guard varient selon les générations et/ou les séries de processeurs EPYC™. Pour être exécutées, les fonctionnalités de sécurité d'Infinity Guard doivent être activées par les OEM des serveurs, et/ou par les fournisseurs de services cloud. Demandez à votre OEM ou à votre fournisseur si ces fonctionnalités sont prises en charge. Pour en savoir plus sur Infinity Guard, consultez https://www.amd.com/fr/technologies/infinity-guard.
  4. SP5-222 : la charge de travail de Llama2 (jetons/seconde) est basée sur des tests internes effectués par AMD en date du 01/12/2023. Configurations de serveur 2P : 2P EPYC 9654 (96C/192T), BIOS AMI RTI1001C (NPS = 1, détermination de puissance, SMT = désactivé), Mémoire : 1,5 To (24 x 64 Go DDR5-4800), Stockage : NVME 3,2 T x 5 + NVMe 1 T, Système d'exploitation : Ubuntu 22.04.2 LTS (Linux 5.15.0-84-generic), Logiciels : Python 3.9.18, conda 4.12.0, huggingface-hub 0.17.3, intel-openmp 2023.2.0, mkl 2023.2.0, numpy 1.26.1, sentencepiece 0.1.99, tokenizers 0.14.1 torch 2.1.0+cpu, tpp-pytorch-extension 0.0.1, transformers 4.35.0 exécutant 24 instances obtenant jusqu'à 27,24 jetons/seconde en moyenne (Llama2-13B-CHAT-HF, taille du jeton d'entrée : 8, bfloat16), et jusqu'à 52,89 jetons/seconde en moyenne (Llama2-7B-CHAT-HF, taille d'entrée : 8, bfloat16), soit 1,36 fois plus performant que 2P Xeon Platinum 8480+ (56C/112T), BIOS ESE110Q-1.10 (profil = performances maximales, HT = désactivé), 1 To (16 x 64 Go DDR5-4800), Stockage : NVME 3,2 T x 4, Système d'exploitation : Ubuntu 22.04.3 LTS (Linux 5.15.0-88-generic), Logiciels : Python 3.9.18, conda 4.12.0, huggingface-hub 0.17.3, intel-openmp 2023.2.0, mkl 2023.2.0, numpy 1.26.1, sentencepiece 0.1.99, tokenizers 0.14.1 torch 2.1.0+cpu, tpp-pytorch-extension 0.0.1, transformers 4.35.0 exécutant 14 instances obtenant jusqu'à 20,08 jetons/seconde en moyenne (Llama2-13B-CHAT-HF, taille du jeton d'entrée : 8, bfloat16), et jusqu'à 38,98 jetons/seconde en moyenne (Llama2-7B-CHAT-HF, taille du jeton d'entrée : 8, bfloat16). Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS.
  5. À déterminer – SP5-289 : résultats de débit Phi-3-mini basés sur les tests internes d'AMD en date du 10/06/2024.
    Configurations Phi-3-mini : instance unique, IPEX 2.3.0, BF16, taille de lot 1, jetons d'entrée 16, jetons de sortie 32.
    Configurations de serveur :
    2P EPYC 9654 (96C/192T), Lenovo ThinkSystem SR665 V3, (SMT = désactivé, NPS = 1, détermination de puissance, BIOS 1.56), 1,5 To (24 x 64 Go DDR5-5600 à 4 800 MT/s), SSD de 3,2 To, Ubuntu® 22.04.4 LTS.
    2P Xeon Platinum 8592+ (64C/128T), Lenovo ThinkSystem SR650 V3 (HT = désactivé, NPS-1, turbo activé, profil = performances maximales, BIOS ESE122V-3.10), 1 To (16 x 64 Go DDR5-4800), NVMe 3,2 To, Ubuntu 22.04.4 LTS, AMX activé.
    Résultats, Phi-3-mini 4K :
                   score médian    Par rapport à l'EMR
    Intel 8592+         12,63    1
    AMD EPYC 9654                15,68    1,241
    Résultats, Phi-3-mini 128K
                   Score médian    Par rapport à l'EMR
    Intel 8592+         13,92    1
    AMD EPYC 9654                15,21    1,093
  6. SP5C-065 : comparaison entre les scores moyens et les économies sur les dépenses d'exploitation du cloud de HPC7a.96xlarge d'AWS et de M7i. 48xl exécutant un modèle de recommandation basé sur le deep learning (dlrm-v2.99) avec taille de lot = 2 000 à une précision Int8 avec une bibliothèque OneDNN et l'extension IPEX, en utilisant le tarif à la demande US-East (Ohio) Linux® au 11/06/2024 de M7i. 48xl : 9,6768 $/h. HPC7a.96xlarge : 7,20 $/h. Tarifs AWS : https://aws.amazon.com/fr/ec2/pricing/on-demand/.
    Les résultats de performances cloud présentés sont basés sur la date du test dans la configuration. Les résultats peuvent varier en raison de modifications apportées à la configuration sous-jacente et à d'autres conditions telles que le placement de la machine virtuelle et de ses ressources, les optimisations par le fournisseur de services cloud, l'accès aux régions cloud, les co-utilisateurs et les autres types de charges de travail exercées simultanément sur le système.
  7. SP5C-070 : comparaison entre le score moyen et les économies sur les dépenses d'exploitation du cloud de m7a.48xl d'AWS et de m7i.48xl exécutant le modèle all-MiniLM-L6-v2 de HuggingFace sur PyTorch et le moteur Neural Magic Deepsparse avec 24 exécutions parallèles et taille de lot = 1, taille de jeton d'entrée = 512, taille de jeton de sortie = 128 à une précision FP32, en utilisant le tarif à la demande US-East (Ohio) Linux® au 15/07/2024 de m7i.48xl : 9,6768 $/h.  m7a.48xl : 11,12832 $/h
    Tarifs AWS : https://aws.amazon.com/fr/ec2/pricing/on-demand/.
    Les résultats de performances cloud présentés sont basés sur la date du test dans la configuration. Les résultats peuvent varier en raison de modifications apportées à la configuration sous-jacente et à d'autres conditions telles que le placement de la machine virtuelle et de ses ressources, les optimisations par le fournisseur de services cloud, l'accès aux régions cloud, les co-utilisateurs et les autres types de charges de travail exercées simultanément sur le système
  8. SP5C-071 : comparaison entre le score moyen et les économies sur les dépenses d'exploitation du cloud de M7a.8xl d'AWS et de m7i.8xl exécutant un modèle Llama2 avec paramètres 7B à BF16 sur une instance unique de la bibliothèque Intel TPP avec taille de lot = 4, taille de jeton d'entrée = 2 016, taille de jeton de sortie = 256.
    Les résultats de performances cloud présentés sont basés sur la date du test dans la configuration. Les résultats peuvent varier en raison de modifications apportées à la configuration sous-jacente et à d'autres conditions telles que le placement de la machine virtuelle et de ses ressources, les optimisations par le fournisseur de services cloud, l'accès aux régions cloud, les co-utilisateurs et les autres types de charges de travail exercées simultanément sur le système.
  9. SP5C-060 : comparaison entre le score moyen et les économies réalisées sur les dépenses d'exploitation du cloud de m7a.4xl d'AWS par rapport à M7i.4xl exécutant le modèle BERT-Large- pruned80_quant-none.vnni à FP32 avec taille de lot = 1, 128, 256, taille de jeton d'entrée = 512, taille de jeton de sortie = 512, en utilisant le tarif à la demande US-East (Ohio) Linux® au 11/06/2024 de M7i.4xl : 0,8064 $/h. M7a.4xl : 0,92736 $/h Les résultats de performances cloud présentés sont basés sur la date du test dans la configuration. Les résultats peuvent varier en raison de modifications apportées à la configuration sous-jacente et à d'autres conditions telles que le placement de la machine virtuelle et de ses ressources, les optimisations par le fournisseur de services cloud, l'accès aux régions cloud, les co-utilisateurs et les autres types de charges de travail exercées simultanément sur le système.
  10. SP5-185A : Le débit de charge de travail de FAISS v1.7.4 1000 est basé sur des tests internes effectués par AMD en date du 19/04/2024. Configurations de serveur 2P : 2P EPYC 9654 (96C/96T), BIOS 1006C (SMT = désactivé, NPS = 1, détermination de puissance), 1,5 To (24 x 64 Go DDR5-4800), Samsung MZQL21T9HCJR-00A07 1,92 To, Ubuntu® 22.04.3 LTS exécutant 8 instances/24 cœurs/instance obtenant un score de 39,6 débit médian 2,04 fois supérieur à celui des performances du 2P Xeon Platinum 8592+ (64C/64T), BIOS 1.4.4 (HT = désactivé, profile =performances maximales), 1 To (16 x 64 Go DDR5-4800), Intel SSDPF2KE032T1O 3.2 To NVMe, Ubuntu 22.04.3 LTS exécutant 8 instances/16 cœurs/instance obtenant un score de 19,4 débits médian. Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS.
  11. SP5-251 : le débit de charge de travail de XGBoost 2.0.3 est basé sur des tests internes effectués par AMD en date du 19/04/2024. Configurations de serveur 2P : 2P EPYC 9654 (96C/192T), BIOS 1006C (SMT = désactivé, NPS = 1, détermination de puissance), 1,5 To (24 x 64 Go DDR5-4800), Samsung MZQL21T9HCJR-00A07 1,92 To, Ubuntu 22.04.3 LTS obtenant un score de débit médian Airline de 203 (exécutant 16 instances/12 cœurs/instance) et un score de débit médian Higgs de 2 057 (exécutant 32 instances /6 cœurs/instance) avec des performances respectivement 1,38 fois et 1,71 fois supérieures au 2P Xeon Platinum 8592+ (64C/128T), BIOS 1.4.4 (HT = désactivé, profil =performances maximales), 1 To (16 x 64 Go DDR5-4800), Intel SSDPF2KE032T1O NVMe 3,2 To, Ubuntu 22.04.3 LTS exécutant 8 instances /16 cœurs/instance obtenant un score de débit médian Airline de 147 et 4 instances /32 cœurs/instance obtenant un score de débit médian Higgs de 1 200. Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS.
  12. SP5-184A : SciKit- Apprentissage Random Forest de l'ensemble de données airline_ohe v2023.2 - débit de charge de travail basé sur les tests internes d'AMD en date du 19/4/2024. Configurations de serveur 2P : 2P EPYC 9654 (96C/96T), BIOS 1006C (SMT = désactivé, NPS = 1, détermination de puissance), 1,5 To (24 x 64 Go DDR5-4800), 2 Samsung MZQL21T9HCJR-00A07 1,7 To, Ubuntu® 22.04.3 LTS exécutant 12 instances/16 cœurs/instance obtenant un score de 166,8 débit médian 1,36 fois supérieur à celui des performances du 2P Xeon Platinum 8592+ (64C/64T), BIOS 1.4.4 (HT = désactivé, profile =performances maximales), 1 To (16 x 64 Go DDR5-4800), Intel SSDPF2KE032T1O 3.2 To NVMe, Ubuntu 22.04.3 LTS exécutant 8 instances/16 cœurs/instance obtenant un score de 123,1 débits médian. Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS.
  13. SP5-252 : Comparaison de test tiers OpenVINO 2023.2.dev FPS basée sur la revue Phoronix https://www.phoronix.com/review/intel-xeon-platinum-8592/9 en date du 14/12/2023 pour certains tests OpenVINO : Détection de véhicules FP16, Détection de personnes FP16, Détection de personnes et de vélos FP16, Segmentation de routes ADAS FP16 et Détection de visages pour la vente au détail FP16. La segmentation de routes ADAS FP16 a montré des performances 2,36 fois supérieures. Tests non vérifiés indépendamment par AMD. Les scores varient en fonction de la configuration du système et du mode de détermination utilisé (Détermination de la puissance utilisée). OpenVINO est une marque commerciale d'Intel Corporation ou de ses filiales.
  14. SP5-051A : comparaison de la charge de travail dérivée TPCx-AI SF30 basée sur les tests internes AMD exécutant plusieurs instances de machine virtuelle au 13/04/2024. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI. Configuration du système AMD : Processeurs : 2 AMD EPYC 9654 ; Fréquences : 2,4 GHz | 3,7 GHz ; Cœurs : 96 cœurs par socket (1 domaine NUMA par socket) ; Cache L3 : 384 Mo/socket (768 Mo au total) ; Mémoire : 1,5 To (24) DIMM DDR5-5600 64 Go à double rang, 1DPC (la plateforme prend en charge jusqu'à 4 800 MHz) ; Carte réseau : 2 x 100 GbE Mellanox CX-5 (MT28800) ; Stockage : Samsung MO003200KYDNC U.3 NVMe 3,2 To ; BIOS : 1.56 ; Paramètres du BIOS : SMT = activé, détermination = puissance, NPS = 1, PPL = 400 W, Turbo Boost = activé ; Système d'exploitation : Ubuntu® 22.04.3 LTS ; Configuration de test : 6 instances, 64 CPU virtuels/instance, 2 663 cas d'utilisation d'IA agrégés/min par rapport à la configuration système Intel : Processeurs : 2 Intel® Xeon® Platinum 8592+ ; Fréquences : 1,9 GHz | 3,9 GHz ; Cœurs : 64 cœurs par socket (1 domaine NUMA par socket) ; Cache L3 : 320 Mo/socket (640 Mo au total) ; Mémoire : 1 To (16) DIMM DDR5-5600 64 Go à double rang, 1DPC ; Carte réseau : 4 x Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe 1GbE ; Stockage : KIOXIA KCMYXRUG3T84 NVMe 3,84 To ; BIOS : ESE124B-3.11 ; Paramètres du BIOS : Hyperthreading = activé, Turbo Boost = activé, SNC = désactivé ; Système d'exploitation : Ubuntu® 22.04.3 LTS ; Configuration de test : 4 instances, 64 CPU virtuels/instance, 1 607 cas d'utilisation d'IA agrégés/min. Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS.  TPC, TPC Benchmark et TPC-C sont des marques déposées du Transaction Processing Performance Council.