Vorgestelltes Online-Seminar

Erfahren Sie, wie AMD EPYC™ 9004-Serie Prozessoren Sie in die Lage versetzen, CPU-basierte KI-Verarbeitung zu implementieren, die effizient für kleine KI-Modelle, viele klassische ML- und Inferenz-Auslastungen sowie traditionelle Computing-Auslastungen ist, die durch KI erweitert werden.

Abstract connected dots and lines

Führendes Portfolio für die AI Inference Auslastungen in Unternehmen

AI Inference verwendet ein trainiertes KI-Modell, um Vorhersagen für neue Daten zu treffen.  AMD bietet eine Reihe von Lösungen für AI Inference, je nach Modellgröße und Anwendungsanforderungen.  AMD EPYC™ CPUs eignen sich hervorragend für kleine bis mittlere KI-Modelle und Auslastungen, bei denen die Nähe zu den Daten wichtig ist. AMD Instinct™ GPUs eignen sich für große Modelle und dedizierte KI-Bereitstellungen, die eine sehr hohe Performance und Skalierung erfordern. Beide bieten beeindruckende Performance und Effizienz, sodass Sie die richtige Lösung für Ihre Anforderungen wählen können.

Modellgröße Klein

Modellgröße   Typ Vorteile Nachteile Typische Anwendungsfälle
Klein   Klassisch
  • Schnellere Inferenz
  • Geringere Ressourcenanforderungen
  • Geringere Genauigkeit
  • Weniger komplexe Aufgaben
  • Bilderkennung (einfach)
  • Stimmungsanalyse
  • Spam-Erkennung
Generativ
  • Generierung kreativer Inhalte (z. B. Musik, Kunst)
  • Personalisierung
  • Begrenzte Kontrolle über die Ausgabe
  • Potenzial für Verzerrungen
  • Textgenerierung (kurz)
  • Chatbots

Modellgröße Mittel

Modellgröße   Typ Vorteile Nachteile Typische Anwendungsfälle
Mittel Klassisch
  • Gleichgewicht zwischen Geschwindigkeit und Genauigkeit
  • Geeignet für Aufgaben mittlerer Komplexität
  • Kann mehr Trainingsdaten erfordern
  • Weniger effizient bei sehr großen Datensätzen
  • Objekterkennung in Videos
  • Maschinelle Übersetzung
  • Chatbots für den Kundenservice
Prädiktiv
  • Genaue Vorhersagen für verschiedene Aufgaben
  • Skalierbar für größere Datensätze
  • Kann rechenintensiv sein
  • Erfordert sorgfältige Datenaufbereitung
  • Betrugserkennung
  • Risikobewertung
  • Umsatzprognose

Modellgröße Groß

Modellgröße   Typ Vorteile Nachteile Typische Anwendungsfälle
Groß   Generativ
  • Hochgradig realistische und komplexe Content-Erstellung
  • Fortgeschrittenes Sprachverständnis
  • Sehr ressourcenintensiv
  • Hohes Risiko der Verzerrung und ethische Bedenken
  • Textgenerierung (komplex)
  • Bild- und Videogenerierung
  • Kreatives Content-Design
Klassisch
  • Hohe Genauigkeit bei komplexen Aufgaben
  • Kann große und vielfältige Datensätze verarbeiten
  • Äußerst ressourcenintensiv
  • Schwierig zu interpretieren und zu erklären
  • Medizinische Diagnose
  • Selbstfahrende Autos
  • Gesichtserkennung
Prädiktiv
  • Hochpräzise Vorhersagen mit großen Datensätzen
  • Verarbeitung komplexer Beziehungen und Muster
  • Kostspielig in Training und Ausführung
  • Erfordert umfangreiche Daten und Fachkenntnisse
  • Personalisierte Empfehlungen
  • Analyse von Finanzmärkten
  • Wissenschaftliche Forschung

Anwendungen und Branchen

KI-Modelle, die in Computer-Vision-, Natural-Language-Processing- und Empfehlungssysteme integriert sind, haben einen erheblichen Einfluss auf Unternehmen in verschiedenen Branchen. Diese Modelle helfen Unternehmen, Objekte zu erkennen, Anomalien zu klassifizieren, geschriebene und gesprochene Wörter zu verstehen und Empfehlungen auszusprechen. Sie beschleunigen die Entwicklung dieser Modelle, wodurch Unternehmen unabhängig von ihrer Branche von den Vorteilen profitieren können.

Automated Driving Illustration

Automobilbranche

Computer-Vision-Modelle helfen dabei, selbstfahrende Autos voranzutreiben und auch Schilder, Fußgänger und andere Fahrzeuge zu erkennen, denen ausgewichen werden muss. Modelle für die Verarbeitung natürlicher Sprache (Natural Language Processing) helfen bei der Erkennung gesprochener Befehle für die Telematik im Auto.

data image

Finanzdienstleistungen

Die KI-gestützte Erkennung von Anomalien hilft, Kreditkartenbetrug zu verhindern, während Computer-Vision-Modelle auf verdächtige Dokumente wie Kundenschecks achten.

abstract retail image

Einzelhandel

Automatisieren Sie Kassenschlangen, indem Sie Produkte erkennen, oder schaffen Sie sogar autonome Einkaufserlebnisse, bei denen die Modelle Kunden mit den Artikeln verbinden, die sie auswählen und in ihre Taschen legen. Nutzen Sie Produktempfehlungs-Engines, um Alternativen anzubieten, ob online oder im Geschäft.

Manufacturing  Gears

Fertigung

Verwenden Sie Computer-Vision-Modelle, um die Qualität von hergestellten Produkten zu überwachen – von Lebensmitteln bis hin zu Leiterplatten. Geben Sie Telemetriedaten in Empfehlungs-Engines ein, um proaktive Wartungsmaßnahmen vorzuschlagen: Stehen Festplattenlaufwerke kurz vor dem Ausfall? Verbraucht der Motor zu viel Öl?

Top view of cardiologist doctor medical healthcare desk

Medizinischer Bereich

Erkennen Sie Anomalien wie Frakturen und Tumore mit Computer-Vision-Modellen. Verwenden Sie die gleichen Modelle in der Forschung, um das Wachstum und die Vermehrung von Zellen in vitro zu beurteilen.

Big data analytics AI technology

Serviceautomatisierung

Wo IT auf Kunden trifft, kann die Verarbeitung natürlicher Sprache dabei helfen, Maßnahmen auf der Grundlage gesprochener Anfragen zu ergreifen. Zudem können Empfehlungs-Engines Kunden auf zufriedenstellende Lösungen und Produktalternativen hinweisen.

Die ideale Wahl für AI Inference Auslastungen in Unternehmen

Ob als reine CPU bereitgestellt oder als Host für GPUs verwendet, die größere Modelle ausführen – AMD EPYC™ 9004-Serie Prozessoren sind mit den neuesten offenen Standardtechnologien ausgestattet, um AI Inference Auslastungen in Unternehmen zu beschleunigen.

Konzipiert für AI Inference

Bis zu 128 AMD „Zen 4“ Kerne mit AVX-512-Befehlsunterstützung bieten eine hohe Parallelität für AI Inference Auslastungen und reduzieren den Bedarf an GPU-Beschleunigung.

Außergewöhnliche Energieeffizienz: AMD EPYC™ Prozessoren treiben die energieeffizientesten Server an, bieten eine herausragende Performance und helfen, die Energiekosten zu senken.1

Schnelle Verarbeitung und E/A: 14 % mehr Befehle pro Taktzyklus, DDR5-Speicher und PCIe® Gen 5 I/O für schnelle Datenverarbeitung.2

AMD EPYC™ 9004 processor

AMD Software-Optimierungen für AI Inference

Framework-Unterstützung: AMD unterstützt die gängigsten KI-Frameworks, darunter TensorFlow, PyTorch und ONNX Runtime, und deckt damit verschiedene Anwendungsfälle wie Bildklassifizierung und Empfehlungs-Engines ab.

Open Source und Kompatibilität: Optimierungen sind in gängige Frameworks integriert und bieten umfassende Kompatibilität und Open-Source-Upstream-Freundlichkeit.  Darüber hinaus arbeitet AMD mit Hugging Face zusammen, um deren Open-Source-Modelle sofort mit ZenDNN nutzen zu können.

ZenDNN-Plug-ins: Diese Plug-ins beschleunigen AI Inference Auslastungen durch die Optimierung von Operatoren, die Nutzung von Mikrokernen und die Implementierung von effizientem Multithreading auf AMD EPYC Kernen.

Bildzoom
AMD Software Optimizations Diagram

Datensicherheit ist in der Ära der KI noch wichtiger

Da die Digitalisierung, das Cloud-Computing, die KI und andere neue Technologien das Datenwachstum ankurbeln, wird der Bedarf an fortschrittlichen Sicherheitsmaßnahmen noch dringender. Dieses erhöhte Sicherheitsbedürfnis wird durch die zunehmende globale Bedeutung von Datenschutzbestimmungen und hohen Strafen für Datenschutzverletzungen noch verstärkt, was den beispiellosen Wert von Daten inmitten steigender Sicherheitsrisiken verdeutlicht.

AMD Infinity Guard ist auf Chipebene integriert und bietet die erweiterten Funktionen, die für den Schutz vor internen und externen Bedrohungen erforderlich sind. Ihre Daten bleiben somit sicher.3

Cyber security illustration

AMD EPYC™ 9004 Prozessor-basierte Server und Cloud-Instanzen ermöglichen schnelle, effiziente KI-fähige Lösungen in der Nähe Ihrer Kunden und Daten.

 

Kleine/mittlere KI-Auslastungsmodelle

2P-Server mit Llama2-7B CHAT-HF und 13B CHAT-HF LLM⁴ (relative Token/Sekunde)
AMD EPYC™ 9654
1,36-fach
Xeon® Platinum® 8480+
1,0-fach
2P-Server mit Phi-3 Mini (4K)⁵ (relative Token/Sekunde)
AMD EPYC™ 9654
1,24-fach
Xeon® Platinum® 8592+
1,0-fach
AWS-Instanz, auf der DLRMv2 mit Int8-Präzision läuft⁶
EPYC der 4. Generation (HPC7a.96xl)
~1,44-fach
Xeon der 4. Generation (M7i.48xl)
1,0-fach
AWS-Instanz, auf der MiniLM mit PyTorch und Neural Magic Deepsparse-Engine mit FP32-Präzision ausgeführt wird⁷
EPYC der 4. Generation (m7a.48xl)
~1,78-fach
Xeon der 4. Generation (M7i.48xl)
1,0-fach
AWS-Instanz mit Llama2-7B bei BF16 Präzision⁸
EPYC der 4. Generation (m7a.8xl)
~1,19-fach
Xeon der 4. Generation (M7i.8xl)
1,0-fach

Klassische ML-Auslastungsmodelle

2P-Server mit Clustering FAISS⁹ (Clustering/Sekunde)
AMD EPYC™ 9654
Bis zu ~2,0-fach
Xeon® Platinum® 8592+
1,0-fach
2P-Server mit XGBoost und Higgs-Boson-Teilchenexplosion¹⁰ (Durchsatz)
AMD EPYC™ 9654
Bis zu ~1,7-fach
Xeon® Platinum® 8592+
1,0-fach
2P-Server, auf denen die Klassifizierung mit zufälligen Decision Forests läuft (SciKit-Learning RandomForest airline_ohe Durchsatz)¹¹
AMD EPYC™ 9654
Bis zu ~1,36-fach
Xeon® Platinum® 8592+
1,0-fach
2P-Server mit OpenVINO™ Road¹² Segmentierungsinferenz (Frames/Sek. pro CPU W)
AMD EPYC™ 9754
Bis zu ~2,4-fach
Xeon® Platinum® 8592+
1,0-fach
2P-Server mit TPCx-AI @ SF30¹³ (Durchsatz/Min.)
AMD EPYC™ 9654
Bis zu ~1,65-fach
Xeon® Platinum® 8592+
1,0-fach

Ressourcen

Übersichten zu AMD EPYC Enterprise AI

AMD und Partnerdokumentation finden, die Innovationen zu KI und maschinellem Lernen beschreibt

AMD ZenDNN Bibliothek

Open-Source Enhanced Deep Learning Performance auf AMD EPYC Prozessoren.

Podcasts

Hören Sie sich an, wie führende Technologieexperten von AMD und aus der Branche die neuesten Trendthemen zu Servern, Cloud-Computing, KI, HPC und mehr diskutieren.

Fußnoten
  1. EPYC-028D: SPECpower_ssj® 2008, SPECrate®2017_int_energy_base und SPECrate®2017_fp_energy_base basierend auf Ergebnissen, die auf der SPEC-Website veröffentlicht wurden (Stand 21.02.2024). Ergebnisse auf Basis von VMmark® Server-Power-Performance/Server- und Speicher-Power-Performance (PPKW) veröffentlicht unter https://www.vmware.com/products/vmmark/results3x.1.html?sort=score. Die ersten 105 SPECpower_ssj®2008-Veröffentlichungen mit der höchsten Gesamteffizienz (overall ssj_ops/W) wurden alle mit AMD EPYC Prozessoren ausgeführt. Für SPECrate®2017 Integer (Energy Base) werden die ersten 8 SPECrate®2017_int_energy_base Performance/System-W-Scores auf AMD EPYC CPUs ausgeführt. Für SPECrate®2017 Floating Point (Energy Base) werden die ersten 12 SPECrate®2017_fp_energy_base Performance/System-W-Scores auf AMD EPYC CPUs ausgeführt. Für VMmark® Server-Power-Performance (PPKW) übertreffen die besten fünf Ergebnisse für 2- und 4-Sockel-Matched-Pair-Server alle anderen Sockelergebnisse. Für VMmark® Server- und Speicher-Power-Performance (PPKW) haben sie den besten Gesamtscore. Die vollständige Liste ist unter https://www.amd.com/de/claims/epyc4#faq-EPYC-028D einsehbar. Weitere Informationen über die Nachhaltigkeitsziele von AMD finden Sie unter: https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html. Weitere Informationen über SPEC® sind unter https://www.spec.org verfügbar. SPEC, SPECrate und SPECpower sind eingetragene Marken der Standard Performance Evaluation Corporation. VMmark ist eine eingetragene Marke von VMware in den USA oder anderen Ländern.
  2. EPYC-038: Basiert auf internen Tests von AMD am 19.09.2022: Performance-Verbesserung im geometrischen Mittel bei gleicher Festfrequenz auf einer AMD EPYC™ 9554 CPU der 4. Generation im Vergleich zu einer AMD EPYC™ 7763 CPU der 3. Generation unter Verwendung ausgewählter Auslastungen (33) einschließlich gesch. SPECrate®2017_int_base, gesch. SPECrate®2017_fp_base und repräsentativer Server-Auslastungen. SPEC® und SPECrate® sind eingetragene Marken der Standard Performance Evaluation Corporation. Weitere Informationen unter spec.org.
  3. GD-183A AMD Infinity Guard Funktionen variieren je nach EPYC™ Prozessorgeneration und/oder Serie. Sicherheitsfunktionen von Infinity Guard müssen von Server-Erstausrüstern und/oder Cloud-Dienstanbietern vor Betrieb aktiviert werden. Wenden Sie sich an Ihren Erstausrüster oder Anbieter, um die Unterstützung dieser Funktionen zu erfragen. Mehr erfahren über Infinity Guard unter https://www.amd.com/de/technologies/infinity-guard
  4. SP5-222: Leistungsbezogene Angaben bezüglich Llama2 Token/Sek. basieren auf internen Tests von AMD (Stand: 1.12.2023). 2P-Serverkonfigurationen: 2P EPYC 9654 (96C/192T), BIOS AMI RTI1001C (NPS=1, Power Determinism, SMT=OFF), Speicher: 1,5 TB (24x 64 GB DDR5-4800), Speicher: NVMe 3.2T x 5 + NVMe 1T, BS: Ubuntu 22.04.2 LTS (Linux 5.15.0-84-generic), Software: Python 3.9.18, conda 4.12.0, huggingface-hub 0.17.3, intel-openmp 2023.2.0, mkl 2023.2.0, numpy 1.26.1, sentencepiece 0.1.99, tokenizers 0.14.1 torch 2. 1.0+cpu, tpp-pytorch-extension 0.0.1, transformers 4.35.0, 24 Instanzen mit bis zu 27,24 durchschnittlichen Token/Sek (Llama2-13B-CHAT-HF, Input-Tokengröße: 8, bfloat16) und bis zu 52,89 durchschnittliche Token/Sek. (Llama2-7B-CHAT-HF, Eingabegröße: 8, bfloat16), ist das 1,36-fache der Performance von 2P Xeon Platinum 8480+ (56C/112T), BIOS ESE110Q-1.10 (Profil=Maximale Leistung, HT=OFF), 1 TB (16x 64 GB DDR5-4800), Speicher: NVMe 3.2T x 4, BS: Ubuntu 22.04.3 LTS (Linux 5.15.0-88-generic), Software: Python 3.9.18, conda 4.12.0, huggingface-hub 0.17.3, intel-openmp 2023.2.0, mkl 2023.2.0, numpy 1.26.1, sentencepiece 0.1.99, tokenizers 0.14.1 torch 2. 1.0+cpu, tpp-pytorch-extension 0.0.1, transformers 4.35.0, 14 Instanzen mit bis zu 20,08 durchschnittlichen Token/Sek (Llama2-13B-CHAT-HF, Input-Tokengröße: 8, bfloat16) und bis zu 38,98 durchschnittliche Token/Sek. (Llama2-7B-CHAT-HF, Input-Tokengröße: 8, bfloat16). Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  5. TBD "SP5-289: Phi-3-mini-Durchsatzergebnisse basierend auf internen Tests von AMD (Stand: 10.6.2024).
    Phi-3-mini-Konfigurationen: Einzelne Instanz, IPEX 2.3.0, BF16, Stapelgröße 1, Input-Token 16, Output-Token 32.
    Serverkonfigurationen:
    2P EPYC 9654 (96C/192T), Lenovo ThinkSystem SR665 V3, (SMT=off, NPS=1, Power Determinism, BIOS 1.56), 1,5 TB (24x 64 GB DDR5-5600 bei 4800 MT/s), 3,2 TB SSD, Ubuntu® 22.04.4 LTS.
    2P Xeon Platinum 8592+ (64C/128T), Lenovo ThinkSystem SR650 V3 (HT=aus, NPS-1, Turbo aktiviert, Profil=Maximale Leistung, BIOS ESE122V-3.10), 1 TB (16x 64 GB DDR5-4800), 3,2 TB NVMe, Ubuntu 22.04.4 LTS, AMX eingeschaltet.
    Ergebnisse, Phi-3-mini 4K:
                   Medianwert     im Vergleich zum EMR
    Intel 8592+         12,63    1,00
    AMD EPYC 9654                15,68    1,241
    Ergebnisse, Phi-3-mini 128K
                   Medianwert     im Vergleich zum EMR
    Intel 8592+         13,92    1
    AMD EPYC 9654                15,21    1.093
  6. SP5C-065: AWS HPC7a.96xlarge Durchschnittswerte und Cloud OpEx-Einsparungen im Vergleich zu M7i. 48xl mit Deep Learning Recommendation Model (dlrm-v2.99) mit Stapelgröße = 2000 bei Int8-Präzision mit OneDNN-Bibliothek mit IPEX-Erweiterung unter Verwendung von On-Demand-Preisgestaltung US-East (Ohio) Linux® ab 11.6.2024 von M7i. 48xl: 9,6768 $/Std. HPC7a.96xlarge: 7,20 $/Std. AWS-Preise: https://aws.amazon.com/ec2/pricing/on-demand/
    Die hier dargestellten Cloud-Performance-Ergebnisse basieren auf dem Testdatum der Konfiguration. Die Ergebnisse können aufgrund von Änderungen an der zugrundeliegenden Konfiguration und anderen Bedingungen variieren, z. B. Platzierung der VM und ihrer Ressourcen, Optimierungen durch den Cloud-Service-Anbieter, aufgerufene Cloud-Regionen, Co-Tenants und die Arten anderer Auslastungen, die gleichzeitig auf dem System ausgeführt werden.
  7. SP5C-070: AWS m7a.48xl-Durchschnittswert und Cloud OpEx-Einsparungen im Vergleich zu m7i.48xl, das HuggingFace's All-MiniLM-L6-v2-Modell auf PyTorch und Neural Magic Deepsparse-Engine mit 24 parallelen Läufen und Batch-Größe = 1, Input-Tokengröße = 512, Output-Tokengröße = 128 bei FP32-Präzision ausführt, unter Verwendung von On-Demand-Preisgestaltung US-East (Ohio) Linux® ab 15.7.2024 von m7i.48xl: 9,6768 $/Std.  m7a.48xl: 11,12832 $/Std.
    AWS-Preise: https://aws.amazon.com/ec2/pricing/on-demand/
    Die hier dargestellten Cloud-Performance-Ergebnisse basieren auf dem Testdatum der Konfiguration. Die Ergebnisse können aufgrund von Änderungen an der zugrundeliegenden Konfiguration und anderen Bedingungen variieren, z. B. Platzierung der VM und ihrer Ressourcen, Optimierungen durch den Cloud-Service-Anbieter, aufgerufene Cloud-Regionen, Co-Tenants und die Arten anderer Auslastungen, die gleichzeitig auf dem System ausgeführt werden.
  8. SP5C-071: AWS M7a.8xl-Durchschnittswert und Cloud OpEx-Einsparungen im Vergleich zu m7i.8xl, das das Llama2-Modell mit 7B-Parametern bei BF16 auf einer einzelnen Instanz auf der Intel TPP-Bibliothek mit Batch-Größe = 4, Input-Tokengröße = 2016, Output-Tokengröße = 256 ausführt.
    Die hier dargestellten Cloud-Performance-Ergebnisse basieren auf dem Testdatum der Konfiguration. Die Ergebnisse können aufgrund von Änderungen an der zugrundeliegenden Konfiguration und anderen Bedingungen variieren, z. B. Platzierung der VM und ihrer Ressourcen, Optimierungen durch den Cloud-Service-Anbieter, aufgerufene Cloud-Regionen, Co-Tenants und die Arten anderer Auslastungen, die gleichzeitig auf dem System ausgeführt werden.
  9. SP5C-060: AWS m7a.4xl-Durchschnittswert und Cloud OpEx-Einsparungen im Vergleich zu M7i.4xl mit BERT-Large- pruned80_quant-none.vnni-Modell bei FP32 mit Batch-Größe = 1, 128, 256, Input-Tokengröße = 512, Output-Tokengröße = 512 unter Verwendung von On-Demand-Preisgestaltung US-East (Ohio) Linux®, Stand: 11.6.2024 von M7i.4xl: 0,8064 $/Std. M7a.4xl: 0,92736 $/Std. Die hier dargestellten Cloud-Performance-Ergebnisse basieren auf dem Testdatum der Konfiguration. Die Ergebnisse können aufgrund von Änderungen an der zugrundeliegenden Konfiguration und anderen Bedingungen variieren, z. B. Platzierung der VM und ihrer Ressourcen, Optimierungen durch den Cloud-Service-Anbieter, aufgerufene Cloud-Regionen, Co-Tenants und die Arten anderer Auslastungen, die gleichzeitig auf dem System ausgeführt werden.
  10. SP5-185A: Leistungsbezogene Angaben zur FAISS v1.7.4 1000 Durchsatzauslastung basierend auf internen Tests von AMD vom 19.04.2024. 2P-Serverkonfigurationen: 2P EPYC 9654 (96 Kerne/96 Threads), BIOS 1006C (SMT = aus, NPS = 1, Leistungsdeterminismus), 1,5 TB (24 x 64 GB DDR5-4800), Samsung MZQL21T9HCJR-00A07 1,92 TB, Ubuntu® 22.04.3 LTS mit 8 Instanzen/24 Kernen/Instanz mit einem Durchsatz-Mittelwert von 39,6 hat die 2,04-fache Performance im Vergleich zu 2P Xeon Platinum 8592+ (64 Kerne/64 Threads), BIOS 1.4.4 (HT = aus, Profil = maximale Performance), 1 TB (16 x 64 GB DDR5-4800), Intel SSDPF2KE032T1O 3,2 TB NVMe, Ubuntu 22.04.3 LTS mit 8 Instanzen/16 Kernen/Instanz mit einem Durchsatz-Mittelwert von 19,4. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  11. SP5-251: Leistungsbezogene Angaben zur Durchsatzauslastung von XGBoost 2.0.3 basieren auf internen Tests von AMD (Stand: 19.4.2024). 2P-Serverkonfigurationen: 2P EPYC 9654 (96C/192T), BIOS 1006C (SMT=off, NPS=1, Power Determinism), 1,5 TB (24x 64 GB DDR5-4800), Samsung MZQL21T9HCJR-00A07 1,92 TB, Ubuntu 22.04. 3 LTS mit einem mittleren Durchsatz von 203 Airline (mit 16 Instanzen/12 Kernen/Instanz) und einem mittleren Durchsatz von 2057 Higgs (mit 32 Instanzen/6 Kernen/Instanz) für die 1,38-fache bzw. 1,71-fache Performance von 2P Xeon Platinum 8592+ (64C/128T), BIOS 1.4.4 (HT=off, Profile=Maximale Leistung), 1 TB (16x 64 GB DDR5-4800), Intel SSDPF2KE032T1O 3,2 TB NVMe, Ubuntu 22.04.3 LTS mit 8 Instanzen/16 Kernen/Instanz mit 147 Airline Median Durchsatz und 4 Instanzen/32 Kernen/Instanz mit 1200 Higgs Median Durchsatz. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  12. SP5-184A: Leistungsbezogene Angaben zur SciKit-Learning Random Forest v2023.2 airline_ohe Datensatz-Durchsatzauslastung basierend auf internen Tests von AMD vom 19.04.2024. 2P-Serverkonfigurationen: 2P EPYC 9654 (96 Kerne/96 Threads), BIOS 1006C (SMT = aus, NPS = 1, Leistungsdeterminismus), 1,5 TB (24 x 64 GB DDR5-4800), 2 x Samsung MZQL21T9HCJR-00A07 1,7 TB, Ubuntu® 22.04.3 LTS mit 12 Instanzen/16 Kernen/Instanz mit einem Durchsatz-Mittelwert von 166,8 hat die 1,36-fache Performance im Vergleich zu 2P Xeon Platinum 8592+ (64 Kerne/64 Threads), BIOS 1.4.4 (HT = aus, Profil = maximale Performance), 1 TB (16 x 64 GB DDR5-4800), Intel SSDPF2KE032T1O 3,2 TB NVMe, Ubuntu 22.04.3 LTS mit 8 Instanzen/16 Kernen/Instanz mit einem Durchsatz-Mittelwert von 123,1. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  13. SP5-252: Tests von Dritten mit OpenVINO 2023.2.dev für FPS-Vergleich basierend auf Phoronix Prüfung (https://www.phoronix.com/review/intel-xeon-platinum-8592/9) vom 14.12.2023 mithilfe ausgewählter OpenVINO Tests: Vehicle Detection FP16, Person Detection FP16, Person Vehicle Bike Detection FP16, Road Segmentation ADAS FP16 und Face Detection Retail FP16. Road Segmentation ADAS FP16 war maximal um das 2,36-Fache besser. Testergebnisse werden von AMD nicht geprüft. Ergebnisse weichen je nach Systemkonfiguration und verwendetem Determinismusmodus (Leistungsdeterminismus) ab. OpenVINO ist eine Marke der Intel Corporation oder ihren Tochterunternehmen.
  14. SP5-051A: Vergleich der Auslastung von TPCx-AI SF30-Derivaten basierend auf internen Tests von AMD mit mehreren VM-Instanzen (Stand: 13.4.2024). Der aggregierte End-to-End-KI-Durchsatztest ist vom TPCx-AI-Benchmark abgeleitet und als solcher nicht mit den veröffentlichten TPCx-AI-Ergebnissen vergleichbar, da die Ergebnisse des End-to-End-KI-Durchsatztests nicht der TPCx-AI-Spezifikation entsprechen. AMD Systemkonfiguration: Prozessoren: 2 x AMD EPYC 9654; Frequenzen: 2,4 GHz | 3,7 GHz; Kerne: 96 Kerne pro Sockel (1 NUMA-Domäne pro Sockel); L3-Cache: 384 MB/Sockel (768 MB insgesamt); Speicher: 1,5 TB (24) Dual-Rank DDR5-5600 64GB DIMMs, 1DPC (Plattform unterstützt bis zu 4800 MHz); NIC: 2 x 100 GbE Mellanox CX-5 (MT28800); Speicher: 3,2 TB Samsung MO003200KYDNC U.3 NVMe; BIOS: 1.56; BIOS-Einstellungen: SMT=ON, Determinism=Power, NPS=1, PPL=400W, Turbo Boost=Enabled; OS: Ubuntu® 22.04.3 LTS; Testkonfiguration: 6 Instanzen, 64 vCPUs/Instanz, 2663 aggregierte KI-Nutzungsfälle/Min. im Vergleich zu einer Intel-Systemkonfiguration: Prozessoren: 2 x Intel® Xeon® Platinum 8592+; Frequenzen: 1,9 GHz | 3,9 GHz; Kerne: 64 Kerne pro Sockel (1 NUMA-Domäne pro Sockel); L3-Cache: 320 MB/Sockel (640 MB insgesamt); Speicher: 1 TB (16) Dual-Rank DDR5-5600 64 GB DIMMs, 1DPC; NIC: 4 x 1 GbE Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe; Speicher: 3,84 TB KIOXIA KCMYXRUG3T84 NVMe; BIOS: ESE124B-3.11; BIOS-Einstellungen: Hyperthreading=Enabled, Turbo boost=Enabled, SNC=Disabled; OS: Ubuntu® 22.04.3 LTS; Testkonfiguration: 4 Instanzen, 64 vCPUs/Instanz, 1607 aggregierte KI-Nutzungsfälle/min. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.  TPC, TPC Benchmark und TPC-C sind Marken des Transaction Processing Performance Council.