KI-Technologien sorgen für weitreichende Auswirkungen auf die Branche

Egal, wie groß oder umfangreich Ihre KI-Deployments sind: AMD EPYC Server-CPUs bieten Ihnen eine leistungsstarke, energieeffiziente Grundlage für Enterprise-KI und Allzweck-Workloads.

Warum CPUs das Rückgrat von Unternehmens-KI sind

Während GPUs aufgrund ihrer enormen Rechenleistung oft im Rampenlicht stehen, bilden CPUs durch ihre Vielseitigkeit schon seit Jahren die verlässliche Basis für KI-Inferenz in Unternehmen. AMD EPYC Server-CPUs bieten Energieeffizienz, Kosteneffizienz und Kompatibilität für die meisten realen Enterprise-KI-Einsätze.

Warum sind AMD EPYC Server-CPUs die besten CPUs für Unternehmens-KI9

AMD EPYC Server-CPUs der 5. Generation stellen sich den Anforderungen der KI mit Optionen, die hohe Kernzahlen oder hohe Taktfrequenzen, reichlich Arbeitsspeicher- und I/O-Bandbreite sowie Unterstützung für AVX-512-Befehlssätze umfassen. Integrierte Sicherheitstechnologien von AMD Infinity Guard sorgen dafür, dass Ihre Daten bis hinunter zur Chipebene geschützt sind.7

Wie man Rechenzentren für KI aufbaut

Um ein KI-fähiges Rechenzentrum aufzubauen, benötigen Sie ein Fundament aus Allzweck-Rechenleistung, die auf Sicherheit ausgelegt ist, und die je nach Bedarf durch GPUs ergänzt wird, um Ihre Anforderungen an Performance und Workloads zu erfüllen. Hier erfahren Sie, wie Sie Ihr nächstes Rechenzentrum als KI-fähiges Multitasking-Kraftpaket optimieren können.

Schritt 1

Vorhandene Server konsolidieren

Platz und Energieversorgung in Ihrem Rechenzentrum sind begrenzt. Wenn Sie alte Server durch neue High-Density-CPUs ersetzen, können Sie auf weniger Server konsolidieren, den damit verbundenen Energieverbrauch reduzieren und Platz für KI schaffen.

8:1 konsolidieren

Wechseln Sie von Intel® „Cascade Lake“-Servern der Ära 2020 zu Servern mit AMD EPYC CPUs der 5. Generation.

Bis zu
86 %
Weniger Server¹
Bis zu
69 %
weniger Stromverbrauch¹
Bis zu
41 %
niedrigere 3-Jahres-Gesamtbetriebskosten¹

14 auf AMD EPYC 9965 CPUs basierte Server können dieselbe Integer Performance liefern wie 100 alte Server mit Intel Xeon Platinum 8280 CPUs.

Bessere Performance als die neuesten Intel® Xeon® 6 CPUs erzielen

Bis zu
29 %
Mehr Integer Performance²
Bis zu
66 %
bessere Energieeffizienz³

AMD EPYC 9965 CPUs der 5. Generation übertreffen die neuesten Intel Xeon 6 6980P CPUs mit „Performance-Kernen.“

short top curved fade divider
Schritt 2

CPUs zur Unterstützung neuer KI-Workloads verwenden

Viele Inferenz-Workloads laufen auf CPUs und brauchen keine spezielle Beschleuniger-Hardware. Wenn Sie kleine oder mittelgroße KI-Modelle ausführen möchten oder nur gelegentlich KI-Aufgaben haben, können EPYC Server-CPUs der 5. Generation mit hoher Kernanzahl Ihre Leistungsanforderungen erfüllen.

Bis zu
70 %
Bessere End-to-End-KI-Performance als Intel Xeon 6⁴

AMD EPYC 9965 CPUs übertreffen Intel Xeon 6 6980P CPUs im TPCx-AI Benchmark.

short bottom curved fade divider
Schritt 3

Nach Bedarf mit GPUs erweitern

Wenn Sie dedizierte KI-Beschleunigung für Training, Inferenz großer Modelle, großflächige KI-Einsätze oder Anwendungen mit niedriger Latenz benötigen, beginnen Sie mit AMD EPYC 9005 Server-CPUs mit hoher Taktfrequenz als Host-CPU, um von der hohen Kernfrequenz und der großen Speicherkapazität zu profitieren. Fügen Sie GPUs wie AMD Instinct™ Beschleuniger hinzu, die im PCIe-Formfaktor verfügbar sind.

Bis zu
~10 x
Bessere latenzoptimierte Inferenz auf NVIDIA H100 mit AMD EPYC 9575F im Vergleich zu Intel Xeon 8592+⁵
Bis zu
11 %
Bessere Inferenz auf AMD Instinct MI300X mit AMD EPYC 9575F im Vergleich zu Intel Xeon Platinum 8460Y+⁶
short top curved fade divider
Schritt 4

Integrierte Sicherheitsfunktionen nutzen

Der Datenschutz ist bei jedem KI-Einsatz unbedingt zu gewährleisten. AMD EPYC Server-CPUs wurden unter Berücksichtigung höchster Sicherheitsaspekte entwickelt, um Schutz gegen eine Vielzahl raffinierter Angriffe zu bieten. AMD Infinity Guard, direkt auf Chipebene integriert, hilft dabei, interne und externe Bedrohungen abzuwehren und Ihre Daten sicher aufzubewahren.

AMD Infinity Guard
short bottom curved fade divider
Schritt 5

Die richtige Mischung aus On-Premise und Cloud finden

Stellen Sie sicher, dass Sie mit einer flexiblen KI-Infrastruktur, die über die richtige Kombination aus On-Premise- und Cloud-Ressourcen verfügt, schnell skalieren können. Sie finden AMD EPYC Server-CPUs in Hunderten von Hardwareoptionen und über tausend Public Cloud-Instanzen.

On-Premise-Ausführung
Mehr als 350
Hardwareplattformen
Skalierung in der Cloud
Mehr als 1.000
Public Cloud-Instanzen

Mit der Umrüstung für KI mit AMD EPYC Server-CPUs beginnen

Aufbau eines KI-bereiten Unternehmens

Von der Erfüllung der Anforderungen an die Rechenleistung im Rechenzentrum bis hin zu den richtigen Investitionen – die Einführung von KI ist nicht einfach. Erfahren Sie, wie Sie das Risiko kostspieliger Infrastrukturfehler minimieren können.

Häufig gestellte Fragen

Bevor in KI-Hardware investiert wird, sollten Infrastrukturplaner von Rechenzentren ihre KI-Workloads und Leistungsanforderungen genau prüfen. In einigen Fällen bieten Allzweck-AMD EPYC Server-CPUs bereits ausreichend Performance für Inferenz, sodass keine GPUs erworben werden müssen.

Im Allgemeinen bieten AMD EPYC Server-CPUs ausreichend Performance für Modelle mit bis zu 20 Milliarden Parametern. Dazu gehören viele gängige LLMs (Large Language Models) und andere generative KI-Anwendungen.

AMD EPYC Server-CPUs eignen sich hervorragend für viele Inferenz-Anwendungsfälle. Dazu gehören klassisches Machine Learning, Computer Vision, speicherintensive Graphanalysen, Empfehlungssysteme, Natural Language Processing sowie kleine bis mittelgroße generative KI-Modelle, wie LLMs. Sie eignen sich auch ideal für sorgfältig abgestimmte KI-Agenten und kollaborative, promptbasierte Vorverarbeitung, die bei der Nutzung von Retrieval-Augmented-Generation-(RAG)-Modellen besonders beliebt ist.

AMD EPYC Server-CPUs der 5. Generation liefern 70 % bessere End-to-End-KI-Leistung als Intel Xeon 6.4. Zudem bieten sie eine bis zu 89 % bessere Chatbot-Leistung bei DeepSeek mit AMD EPYC 9965 im Vergleich zu Intel Xeon 6980P8 und eine beeindruckende Performance für LLMs.

Wenn Anforderungen an Datenlokalisierung oder Datenschutz erfüllt werden müssen oder strenge Vorgaben für niedrige Latenz bestehen, sollte KI vor Ort betrieben werden. Wenn Sie hingegen die Flexibilität benötigen, schnell nach oben oder unten zu skalieren, ist die Cloud eine hervorragende Wahl für On-Demand-Ressourcen.

Die richtige CPU für KI wählen

Mit AMD EPYC Server-CPUs können Sie aus einer Reihe von Kern-, Frequenz-, Speicher- und Energieoptionen wählen. Die besten Ergebnisse erzielen Sie, wenn Sie die CPU auf die KI-Workloads abstimmen, die Sie voraussichtlich am häufigsten ausführen werden.

CPUs mit hoher Anzahl von Kernen

Neben Allzweck-Rechenleistung sind diese Alleskönner problemlos in der Lage, LLM-Inferenz auf kleinen und mittelgroßen Modellen durchzuführen. Sie glänzen bei weiteren Datenaufgaben, die den End-to-End-KI-Workflow ausmachen, einschließlich Datenumwandlung, Vor- und Nachverarbeitung sowie klassischem Machine Learning.

Hochfrequenz-CPUs

AMD EPYC Server-CPUs der 5. Generation mit hoher Taktfrequenz sind die „Gehirne“, die die Leistung Ihrer GPU-Plattformen maximieren. Als Host-CPUs bieten sie hervorragendes Speicher- und Datenmanagement, Datenvorverarbeitung und -verschiebung, Ressourcenplanung und GPU-Verwaltung, Ergebnis- und Nachverarbeitung sowie Fehlerbehandlung. Sie unterstützen auch die schnelle Kommunikation zwischen Knoten. Dadurch erhalten Sie einen ausgezeichneten Durchsatz und eine hervorragende Systemeffizienz.

Überlegene Performance für End-to-End-KI-Workflows

Bei realen KI- und Machine-Learning-Anwendungen übertrifft der AMD EPYC 9965 den Intel Xeon 6980P.

Bis zu
70 %
Bessere End-to-End-KI-Performance⁴
Bis zu
60 %
Bessere Performance bei Facebook AI Similarity Search¹⁰
Bis zu
93 %
bessere Performance für maschinelles Lernen¹¹

beeindruckende CPU-Performance für Large Language Models (LLMs)

Stellen Sie Chatbots, intelligente Suchagenten und andere generative KI-Anwendungen souverän bereit – mit der nötigen Performance für LLMs mit bis zu mehreren Milliarden Parametern. Der AMD EPYC 9965 übertrifft den Intel Xeon 6980P.

Bis zu
89 %
Bessere Chatbot-Performance bei DeepSeek⁴
Bis zu
33 %
bessere Performance für mittlere Language Models auf Llama 3.1 88¹²
Bis zu
28 %
bessere Performance bei Textzusammenfassungen auf GPT-J 6B¹³
Bis zu
36 %
bessere Performance für den Übersetzungs-Anwendungsfall auf Llama 3.2 1B¹⁴
short top curved fade divider

AMD unterstützt das gesamte Spektrum der KI

Passen Sie Ihre Infrastruktur an Ihre KI-Ambitionen an. AMD bietet das breiteste KI-Portfolio, auf offenen Standards basierende Plattformen und ein leistungsstarkes Ökosystem – alles untermauert durch eine führende Performance.

AMD Instinct™ GPUs

Verfügbar im PCIe-Formfaktor oder als integrierter Cluster, bieten AMD Instinct™ GPUs außergewöhnliche Effizienz und Performance für generative KI – ideal für das Training gewaltiger Modelle und Hochgeschwindigkeits-Inferenz.

Adaptive AMD Versal™ SoCs

Diese hochintegrierte Rechenplattform für Embedded-Anwendungen umfasst Echtzeit-CPU-Kerne, programmierbare Logik und Network-on-Chip (NoC) sowie KI-Engines für maschinelles Lernen, die in Anwendungsfällen, die angepasste Hardware erfordern, eine hervorragende Performance auf Systemebene bieten.

short bottom curved fade divider

Offene Software für flexible KI-Entwicklung

Mit AMD ZenDNN und AMD ROCm™ Software können Entwickler ihre Anwendungs-Performance optimieren und gleichzeitig die Frameworks ihrer Wahl nutzen.

AMD EPYC Bereitstellungsoptionen

Close-up of a server

Breites Ökosystem für KI On-Premise 

Finden Sie Unternehmens-KI-Hardware von unseren OEM-Partnern, darunter Server mit hoher Kernzahl und Hochfrequenz-CPUs, eine erstklassige Reihe von GPUs und interoperable Netzwerklösungen.

Mother Board CPU

KI in der Cloud skalieren

Holen Sie das Maximum aus Ihrer Cloud heraus, indem Sie virtuelle Maschinen (VMs) auf Basis von AMD-Technologie für KI-Workloads wählen.

Ressourcen

Rechenzentren-Infos von AMD abonnieren

Kontakt mit einem AMD EPYC Vertriebsexperten anfordern

Fußnoten
  1. 9xxTCO-019[DM1] [MK2]: Dieses Szenario fußt auf vielen Annahmen und Schätzungen, und obwohl es auf internen Forschungen und bestmöglichen Näherungswerten von AMD basiert, dient es nur als Beispiel zur Veranschaulichung und sollte nicht anstelle eigener Tests als Entscheidungsgrundlage genommen werden. Das AMD Server and Greenhouse Gas Emissions TCO (Total Cost of Ownership) Estimator Tool – Version 1.53 – vergleicht die benötigten AMD EPYC™ und Intel® Xeon® CPU-basierten Server für insgesamt 391.000 Einheiten von SPECrate2017_int_base-Performance (Stand 30. September 2025). Diese Analyse vergleicht einen 2P-Server mit AMD EPYC_9965, 192 Kernen und einer SPECrate2017_int_base Bewertung von 3230 (https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf) mit einem 2P-Server mit Intel Xeon_6980P, 128 Kernen und einer SPECrate2017_int_base Bewertung von 2510 (https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf) im Vergleich zu einem alten 2P-Server mit Intel Xeon Platinum_8280, 28 Kernen und einer SPECrate2017_int_base Bewertung von 391 (https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf).    Schätzungen der Umweltauswirkungen, die auf Daten aus „2025 International Country Specific Electricity Factors“ beruhen, finden Sie unter https://www.carbondi.com/#electricity-factors/. Der in dieser Analyse verwendete US EPA Greenhouse Gas Equivalencies Calculator mit Stand vom 04.09.2024 ist unter https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator abrufbar. Weitere Details unter https://www.amd.com/claims/9xx5TCO-019.
  2. 9xx5-128A: Vergleich zu SPECrate®2017_int_base basierend auf veröffentlichten Wertungen von www.spec.org vom 09.05.2025. 2P AMD EPYC 9965 (3230 SPECrate®2017_int_base, 384 Kerne gesamt, 500 W TDP, 14.813 USD/CPU), 6.460 SPECrate®2017_int_base/CPU W, 0,218 SPECrate®2017_int_base/CPU USD, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html) 2P AMD EPYC 9755 (2840 SPECrate®2017_int_base, 256 Kerne gesamt, 500 W TDP, 12.984 USD/CPU), 5.680 SPECrate®2017_int_base/CPU W, 0,219 SPECrate®2017_int_base/CPU USD, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html) 2P Intel Xeon 6980P (2510 SPECrate®2017_int_base, 256 Kerne gesamt, 500 W TDP, 12.460 USD/CPU), 5.020 SPECrate®2017_int_base/CPU W, 0,201 SPECrate®2017_int_base/CPU USD, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html) SPEC®, SPEC CPU® und SPECrate® sind eingetragene Marken der Standard Performance Evaluation Corporation. Weitere Informationen unter www.spec.org. Intel CPU TDP und Preise unter https://ark.intel.com/ (Stand 17.04.2025).
  3. 9xx5-134: SPECpower_ssj® 2008-Vergleich basierend auf veröffentlichten Wertungen von www.spec.org vom 30.4.2025. 2P AMD EPYC 9965 (35.920 ssj_ops/W, 384 Kerne, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html) 2P AMD EPYC 9755 (29.950 ssj_ops/W, 256 Kerne, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html) 2P Intel Xeon 6980P (21.679 ssj_ops/W, 256 Kerne, https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html) SPEC®, SPEC CPU® und SPECpower® sind eingetragene Marken der Standard Performance Evaluation Corporation. Weitere Informationen unter www.spec.org.
  4. 9xx5-151: TPCxAI @SF30 Multi-Instanz mit 32 Kernen Instanzgröße-Durchsatzergebnisse basierend auf internen Tests von AMD vom 01.04.2025 bei Ausführung mehrerer VM-Instanzen. Der aggregierte End-to-End-KI-Durchsatztest ist vom TPCx-AI-Benchmark abgeleitet und als solcher nicht mit den veröffentlichten TPCx-AI-Ergebnissen vergleichbar, da die Ergebnisse des End-to-End-KI-Durchsatztests nicht der TPCx-AI-Spezifikation entsprechen. 2P   AMD EPYC 9965 (6067,53 AIUCpm gesamt, 384 Kerne gesamt, 500 W TDP, AMD Referenzsystem, 1,5 TB 24 x 64 GB DDR5-6400, 2 x 40 GbE Mellanox CX-7 (MT2910), 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu® 24.04 LTS-Kernel 6.13, SMT=ON, Determinism=power, Mitigations=on) 2P AMD EPYC 9755 (4073,42 AIUCpm gesamt, 256 Kerne gesamt, 500 W TDP, AMD Referenzsystem, 1,5 TB 24 x 64 GB DDR5-6400, 2 x 40 GbE Mellanox CX-7 (MT2910) 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu 24.04 LTS-Kernel 6.13, SMT=ON, Determinism=power, Mitigations=on) 2P Intel Xeon 6980P (3550,50 AIUCpm gesamt, 256 Kerne gesamt, 500 W TDP, Produktionssystem, 1,5 TB 24 x 64 GB DDR5-6400, 4 x 1GbE Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe 3,84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe, Ubuntu 24.04 LTS-Kernel 6.13, SMT=ON, Performance Bias, Mitigations=on) Die Ergebnisse können abhängig von Faktoren wie u. a. Systemkonfiguration, Softwareversion und BIOS-Einstellungen abweichen. TPC, TPC Benchmark und TPC-H sind Marken des Transaction Processing Performance Council.
  5. 9xx5-169: Ergebnisse für den latenzoptimierten Durchsatz (Goodput) von Llama-3.3-70B, basierend auf internen Tests von AMD, Stand 14.05.2025.Konfigurationen: Llama-3.3-70B, vLLM API Server v1.0, Datensatz: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 512 max. Anfragen (dynamisches Batching), latenzbegrenzte Zeit bis zum ersten Token (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, Ergebnisse in Token/s. 2P AMD EPYC 9575F (128 Kerne gesamt, 400 W TDP, Produktionssystem, 1,5 TB 24 x 64 GB DDR5-6400 ausgeführt bei 6000 MT/s, 2 x 25 GbE ConnectX-6 Lx MT2894, 4 x 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe; Micron_7450_MTFDKCC800TFS 800 GB NVMe für Betriebssystem, Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic, BIOS 3.2, SMT=OFF, Determinism=power, mitigations=off) mit 8 x NVIDIA H100. 2P Intel Xeon 8592+ (128 Kerne gesamt, 350 W TDP, Produktionssystem, 1 TB 16 x 64 GB DDR5-5600, 2 x 25 GbE ConnectX-6 Lx (MT2894), 4 x 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKBA480TFR 480GB NVMe, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT=OFF, Performance Bias, Mitigations=off) mit 8 x NVIDIA H100. Ergebnisse: CPU 300 400 500 600; 8592+ 0 126,43 1565,65 1987,19; 9575F 346,11 2326,21; 2531,38 2572,42; Relativ NA 18,40 1,62 1,29. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. TDP-Informationen von ark.intel.com
  6. 9xx5-013: Offizielle Bewertung von MLPerf™ Inference, v4.1 Llama2-70B-99,9 Server-Token/s und Offline-Token/s, abgerufen von https://mlcommons.org/benchmarks/inference-datacenter/ am 01.09.2024 aus den folgenden Einträgen: 4.1-0070 (Vorschau) und 4.1.0022. Der Name bzw. das Logo MLPerf™ sind Marken der MLCommons Association in den USA und anderen Ländern. Alle Rechte vorbehalten. Unbefugte Verwendung ist streng untersagt. Weitere Informationen unter www.mlcommons.org.
  7. GD-183A: Die Funktionen von AMD Infinity Guard variieren je nach EPYC™ Prozessorgeneration und/oder Serie. Sicherheitsfunktionen von Infinity Guard müssen von Server-Erstausrüstern und/oder Cloud-Dienstanbietern vor Betrieb aktiviert werden. Wenden Sie sich an Ihren Erstausrüster oder Anbieter, um die Unterstützung dieser Funktionen zu erfragen. Mehr erfahren über Infinity Guard unter https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html
  8. 9xx5-152A: Deepseek-R1-671B-Durchsatzergebnisse basierend auf internen Tests von AMD vom 28.01.2025. Konfigurationen: llama.cpp Framework, 1,58 Bit Quantisierung (UD_IQ1_S, MoE bei 1,56 Bit), Batchgrößen 1 und 4, Instanzen mit 16 Kernen, Eingabe-/Ausgabe-Token-Konfigurationen (Anwendungsfälle): [Chatbot = 128/128, Essay = 128/1024, Zusammenfassung = 1024/128, Umschreiben = 1024/1024]. 2P AMD EPYC 9965 (384 Kerne gesamt, 500 W TDP, Referenzsystem, 3 TB 24 x 128 GB DDR5-6400, 2 x 40 GbE Mellanox CX-7 (MT2910) 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=ON, Determinism=power, Mitigations=on) 2P AMD EPYC 9755 (256 Kerne gesamt, 500 W TDP, Referenzsystem, 3 TB 24 x 128 GB DDR5-6400, 2 x 40 GbE Mellanox CX-7 (MT2910) 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=ON, Determinism=power, Mitigations=on) 2P Intel Xeon 6980P (256 Kerne gesamt, 500 W TDP, Produktionssystem, 3 TB 24 x 64 GB DDR5-6400, 4 x 1 GbE Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe 3,84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic, SMT=ON, Performance Bias, Mitigations=on) Ergebnisse: BS=1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47,31 61,88 70,344 1,308 1,487 Essay 42,97 56,04 61,608 1,304 1,434 Zusammenfassung 44,99 59,39 62,304 1,32 1,385 Umschreiben 41,8 68,44 55,08 1,637 1,318 BS=4 6980P 9755 Rel9755 Rel9965 Chatbot 76,01 104,46 143,496 1,374 1,888 Essay 67,89 93,68 116,064 1,38 1,71 Zusammenfassung 70,88 103,39 99,96 1,459 1,41 Umschreiben 65 87,9 78,12 1,352 1.202 Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  9. Vergleich basiert auf Thread-Dichte, Performance, Funktionen, Prozesstechnologie und integrierten Sicherheitsfunktionen der derzeit bereitgestellten Server mit Stand vom 10.10.2024. CPUs der EPYC 9005-Serie bieten die höchste Thread-Dichte [EPYC-025B] und führen die Branche mit über 500 Performance-Weltrekorden an [EPYC-023F]. Dazu gehören die weltweite Spitzenposition bei Enterprise-Java®-ops/sec [EPYCWR-20241010-260], die Führung im HPC-Bereich bei der Floating-Point-Durchsatzleistung [EPYCWR-2024-1010-381], die KI-End-to-End-Performance bei TPCx-AI [EPYCWR-2024-1010-525] sowie höchste Werte bei der Energieeffizienz [EPYCWR-20241010-326]. Die EPYC-Serie der 5. Generation verfügt außerdem über 50 % mehr DDR5-Speicherkanäle [EPYC-033C] mit 70 % mehr Speicherbandbreite [EPYC-032C] und unterstützt 70 % mehr PCIe® Gen5-Lanes für E/A-Durchsatz [EPYC-035C], hat bis zu 5-mal mehr L3-Cache/Kern [EPYC-043C] für schnelleren Datenzugriff, verwendet die erweiterte 3-4-nm-Technologie und bietet die Sicherheitsfunktionen für sichere Speicherverschlüsselung, sichere verschlüsselte Virtualisierung (SEV), SEV Encrypted State und SEV Secure Nested Paging. Weitere Informationen finden Sie im Whitepaper zur AMD EPYC Architektur (https://library.amd.com/l/3f4587d147382e2/). 
  10. 9xx5-164: FAISS (Läufe/Stunde) Durchsatzergebnisse basierend auf internen Tests von AMD vom 08.04.2025. FAISS-Konfigurationen: v1.7.2, sift1m-Datensatz, Instanzen mit 32 Kernen, FP32 2P AMD EPYC 9965 (384 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400 (bei 6.000 MT/s), 1,0 Gbit/s NIC, 3,84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 5.15-Kernel, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1 2P AMD EPYC 9755 (256 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400 (bei 6.000 MT/s), 1,0 Gbit/s NIC, 3,84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 5.15-Kernel, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1 2P Xeon 6980P (256 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-8800 MRDIMM, 1,0 Gbit/s Ethernet Controller X710 für 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT=off, mitigations=on, Performance Bias) Ergebnisse: Relativer Durchsatz 2P 6980P 36,63 1 2P 9755 46,86 1,279 2P 9965 58,6 1,600. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  11. 9xx5-162: XGBoost (Läufe/Stunde) Durchsatzergebnisse basierend auf internen Tests von AMD vom 08.04.2025. XGBoost-Konfigurationen: v1.7.2, Higgs-Datensatz, Instanzen mit 32 Kernen, FP32 2P AMD EPYC 9965 (384 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400 (bei 6.000 MT/s), 1,0 Gbit/s NIC, 3,84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 5.15-Kernel, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1 2P AMD EPYC 9755 (256 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400 (bei 6.000 MT/s), 1,0 Gbit/s NIC, 3,84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 5.15-Kernel, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1 2P Xeon 6980P (256 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-8800 MRDIMM, 1,0 Gbit/s Ethernet Controller X710 für 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT=off, mitigations=on, Performance Bias) Ergebnisse: CPU Relativer Durchsatz 2P 6980P 400 1 2P 9755 436 1,090 2P 9965 771 1,928. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  12. 9xx5-156: Llama3.1-8B-Durchsatzergebnisse basierend auf internen Tests von AMD vom 08.04.2025. Llama3.1-8B-Konfigurationen: BF16, Batchgröße 32, Instanzen mit 32 Kernen, Eingabe-/Ausgabe-Token-Konfigurationen (Anwendungsfälle): [Zusammenfassung = 1024/128, Chatbot = 128/128, Übersetzung = 1024/1024, Essay = 128/1024]. 2P AMD EPYC 9965 (384 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400, 1,0 Gbit/s NIC. 3,84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1 2P AMD EPYC 9755 (256 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400, 1,0 Gbit/s NIC, 3,84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1 2P Xeon 6980P (256 Kerne gesamt), AMX On, 1,5 TB 24 x 64 GB DDR5-8800 MRDIMM, 1,0 Gbit/s Ethernet Controller X710 für 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT=off, mitigations=on Performance Bias), IPEX 2.6.0 Ergebnisse: CPU 6980P 9755 9965 Zusammenfassung 1 n/a 1,093 Übersetzung 1 1,062 1,334 Essay 1 n/a 1,14 Ergebnisse können aufgrund von Faktoren wie Systemkonfigurationen, Softwareversionen und BIOS-Einstellungen abweichen.
  13. 9xx5-158: GPT-J-6B-Durchsatzergebnisse basierend auf internen Tests von AMD vom 08.04.2025. GPT-J-6B-Konfigurationen: BF16, Batchgröße 32, Instanzen mit 32 Kernen, Eingabe-/Ausgabe-Token-Konfigurationen (Anwendungsfälle): [Zusammenfassung = 1024/128, Chatbot = 128/128, Übersetzung = 1024/1024, Essay = 128/1024]. 2P AMD EPYC 9965 (384 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400, 1,0 Gbit/s NIC, 3,84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P AMD EPYC 9755 (256 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400, 1,0 Gbit/s NIC, 3,84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P Xeon 6980P (256 Kerne gesamt), AMX On, 1,5 TB 24 x 64 GB DDR5-8800 MRDIMM, 1,0 Gbit/s Ethernet Controller X710 für 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT=off, mitigations=on, Performance Bias), IPEX 2.6.0, Python 3.12.3 Ergebnisse: CPU 6980P 9755 9965 Zusammenfassung 1 1,034 1,279 Chatbot 1 0,975 1,163 Übersetzung 1 1,021 0,93 Essay 1 0,978 1,108 Bildunterschrift 1 0,913 1,12 Gesamtbewertung 1 0,983 1,114 Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  14. 9xx5-166: Llama3.2-1B-Durchsatzergebnisse basierend auf internen Tests von AMD vom 08.04.2025. Llama3.3-1B-Konfigurationen: BF16, Batchgröße 32, Instanzen mit 32 Kernen, Eingabe-/Ausgabe-Token-Konfigurationen (Anwendungsfälle): [Zusammenfassung = 1024/128, Chatbot = 128/128, Übersetzung = 1024/1024, Essay = 128/1024]. 2P AMD EPYC 9965 (384 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400, 1,0 Gbit/s NIC, 3,84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1, Python 3.10.2 2P Xeon 6980P (256 Kerne gesamt), AMX On, 1,5 TB 24 x 64 GB DDR5-8800 MRDIMM, 1,0 Gbit/s Ethernet Controller X710 für 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT=off, mitigations=on, Performance Bias), IPEX 2.6.0, Python 3.12.3 Ergebnisse: CPU 6980P 9965 Zusammenfassung 1 1,213 Übersetzung 1 1,364 Essay 1 1,271 Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  15. 9xx5-012: TPCxAI @SF30 Multi-Instanz mit 32 Kernen Instanzgröße-Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024 bei Ausführung mehrerer VM-Instanzen. Der aggregierte End-to-End-KI-Durchsatztest ist vom TPCx-AI-Benchmark abgeleitet und als solcher nicht mit den veröffentlichten TPCx-AI-Ergebnissen vergleichbar, da die Ergebnisse des End-to-End-KI-Durchsatztests nicht der TPCx-AI-Spezifikation entsprechen.
    2P AMD EPYC 9965 (384 Kerne gesamt), 12 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled)
    2P AMD EPYC 9755 (256 Kerne gesamt), 8 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = off, Determinism = Power, Turbo Boost = Enabled)
    2P AMD EPYC 9654 (192 Kerne gesamt), 6 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = off, Determinism = Power)
    Im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 4 Instanzen mit 32 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled)
    Ergebnisse:
    CPU Medianwert Relativer Wert Generationenvergleich
    Turin 192 Kerne, 12 Instanzen 6067,531 3,775 2,278
    Turin 128 Kerne, 8 Instanzen 4091,85 2,546 1,536
    Genoa 96 Kerne, 6 Instanzen 2663,14 1,657 1
    EMR 64 Kerne, 4 Instanzen 1607,417 1 k. A.
    Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. TPC, TPC Benchmark und TPC-C sind Marken des Transaction Processing Performance Council.