Large Language Models mit der Leistung von AMD aufbauen
TurkuNLP skalierte auf 192 Knoten auf dem LUMI-Supercomputer mit AMD EPYC™ CPUs und AMD Instinct™ GPUs, um Large Language Models für Finnisch zu entwickeln.
Live-Online-Seminar
AMD EPYC™ Technologie transformiert Unternehmens-KI-Herausforderungen
Erfahren Sie, wie die gelungene Kombination aus AMD EPYC™ Prozessoren und branchenführenden GPU-Beschleunigern die nötige Leistung aufbringt, um die anspruchsvollsten Unternehmens-KI-Herausforderungen zu meistern.
AMD EPYC™ Prozessoren maximieren den Wert großer GPU-Investitionen
GPU-Beschleuniger sind die treibende Kraft für moderne KI geworden und zeichnen sich durch das Training großer, komplexer Modelle und die Unterstützung einer effizienten Inferenz in Echtzeit im großen Maßstab aus. Um aber das Potenzial Ihrer Investition in GPUs zu maximieren, ist ein leistungsstarker CPU-Partner erforderlich.
Warum GPUs für KI-Auslastungen?
GPUs sind das richtige Tool für viele KI-Auslastungen.
- KI-Training: GPUs beschleunigen das Training großer und mittlerer Modelle dank ihrer Funktionen für die parallele Verarbeitung.
- Dedizierte KI-Bereitstellungen: GPUs bieten die Geschwindigkeit und Skalierbarkeit, die für Echtzeitinferenz in großen Bereitstellungen erforderlich sind.
Der CPU-Vorteil:
Wenn man die Leistung von GPUs mit der richtigen CPU kombiniert, kann man die KI-Effizienz für bestimmte Auslastungen deutlich verbessern. Achten Sie auf diese wichtigen CPU-Funktionen:
- Hohe Frequenz und Kernzahl: Wickelt umfangreiche Aufgaben zur Datenvorbereitung und -nachverarbeitung schnell und effizient ab.
- Großer Cache: Vereinfacht den schnellen Datenzugriff auf massive Datensätze.
- Hohe Speicherbandbreite und High-Performance-E/A: Ermöglicht einen schnellen nahtlosen Datenaustausch zwischen CPU und GPU.
- Energieeffiziente Kerne: Spart Strom bei der GPU-Nutzung und kann den Stromverbrauch insgesamt senken.
- Kompatibilität mit GPU und Softwareökosystem: Sorgt für optimierte Performance, Effizienz und einen flüssigen Betrieb.
AMD EPYC Prozessoren
Ihre ideale Wahl, um das wahre Potenzial großer KI-Auslastungen freizusetzen. Sie maximieren die GPU-Beschleuniger-Performance und die KI-Auslastungseffizienz insgesamt. Außerdem ermöglichen die AMD EPYC Prozessoren dank der erweiterten Sicherheitsfunktionen und dem langfristigen, konsequenten Engagement für offene Standards den Unternehmen, die nächste Phase ihrer KI-Reise mit Zuversicht in Angriff zu nehmen.
Anwendungen und Branchen
Lösungen auf Basis von GPU-Beschleunigern und unterstützt durch AMD EPYC CPUs treiben viele der weltweit schnellsten Supercomputer und Cloud-Instanzen an. So erhalten Unternehmen eine bewährte Plattform zur Optimierung der datengestützten Auslastungen und zur Erzielung bahnbrechender Ergebnisse für KI.
AMD EPYC CPUs: Die richtige Wahl zur Maximierung des Werts großer GPU-Investitionen
CPUs spielen eine entscheidende Rolle bei der Orchestrierung und Synchronisierung von Datenübertragungen zwischen GPUs, da sie Kernel-Start-Overheads handhaben und die Datenvorbereitung verwalten. Mit dieser „leitenden“ Funktion wird sichergestellt, dass die GPUs mit höchster Effizienz arbeiten.
- Performance
- Effizienz
- Bewährtes Ökosystem
GPU-Investitionswert mit High-Performance-CPUs optimieren
Einige Auslastungen profitieren von hohen CPU-Taktraten zur Verbesserung der GPU-Performance, indem die Verarbeitung, Übertragung und gleichzeitige Ausführung von Daten optimiert werden und so die GPU-Effizienz gesteigert wird.
Zum Nachweis des Konzepts, dass höhere CPU-Frequenzen den Llama2-7B-Auslastungsdurchsatz steigern, haben wir benutzerdefinierte AMD EPYC 9554 CPUs in einem 2P-Server mit 8 x NVIDIA H100 GPUs eingesetzt1
Llama2-7B-Feinabstimmung
1,0-fach
1,12-fach
1,28-fach
Llama2-7B-Training (1K Sequenzlänge)
1,0-fach
1,16-fach
1,2-fach
Llama2-7B-Training (2K Sequenzlänge)
1,0-fach
1,1-fach
1,14-fach
Unternehmens-KI effizient bereitstellen
Prozessoren, die hohe Performance, niedrigen Stromverbrauch, effiziente Datenverarbeitung und effektive Energieverwaltungsfunktionen kombinieren, sorgen dafür, dass Ihre KI-Infrastruktur mit optimaler Performance arbeitet und gleichzeitig Energieverbrauch und Kosten optimiert werden.
AMD EPYC Prozessoren treiben die weltweit energieeffizientesten Server an, die herausragende Performance bieten und zur Senkung der Energiekosten beitragen.2 Setzen Sie sie mit Zuversicht ein, um energieeffiziente Lösungen zu schaffen und Ihre KI-Reise zu optimieren.
In den AMD EPYC 9004-Serie Prozessoren bietet die AMD Infinity Energieverwaltung eine hervorragende standardmäßige Performance und ermöglicht eine Feinabstimmung für auslastungsspezifisches Verhalten.
Absolut zuverlässig: KI mit bewährten Lösungen einführen
Wählen Sie aus verschiedenen zertifizierten oder validierten GPU-beschleunigten Lösungen, die von AMD EPYC CPUs gehostet werden, um Ihre KI-Auslastungen zu optimieren.
Bevorzugen Sie Lösungen mit AMD Instinct Beschleunigern?
Sie setzen andere GPUs ein? Fragen Sie nach Lösungen mit AMD EPYC CPUs, die bei führenden Anbietern von Plattformlösungen wie Asus, Dell, Gigabyte, HP, Lenovo oder Supermicro erhältlich sind.
Wachsendes Ökosystem mit AMD EPYC CPU + GPU mit Cloud-KI/ML-Instanzoptionen
Fragen Sie nach Instanzen, die eine AMD EPYC CPU mit GPUs für KI-/ML-Auslastungen kombinieren und von großen Cloud-Anbietern wie AWS, Azure, Google, IBM Cloud und OCI verfügbar sind.
Ressourcen
Fußnoten
- SP5-292: Ergebnisse für Llama2-7B Feinabstimmung und Trainingsdurchsatz basierend auf internen Proof-of-Concept-Tests von AMD vom 15.6.2024.
Serverkonfigurationen: 2P EPYC 9554 (CPU mit benutzerdefinierten Frequenzen, 64 Kerne/128 Threads, 16 Kerne aktiv), 1,5 TB Speicher (24 x 64 GB DDR5-5600 bei 4800 MT/Sek), 3,2 TB SSD, Ubuntu® 22.04.4 LTS, mit 8 x NVIDIA H100 80 GB HBM3, HuggingFace Transformers Version 4.31.0, NVIDIA PyTorch 23.12, PEFT 0.4.0, Python 3.10.12, CUDA 12.3.2.001, TensorRT-LLM v 0.9.0.dev2024, CUDNN 8.9.7.29+cuda12.2, NVIDIA-SMI Treiberversion 550.54.15, TRT v8.6.1.6+cuda12.0.1.011, Transformer Engine v1.1
Llama2-7B Feinabstimmung: BS pro Gerät = 4, seqln = 128, Durchschn. aus 4 Läufen, 10 Epochen pro Lauf, FP16
Llama2-7B Training (1K): BS = 56 (7 x 8 GPUs), seqln = 1k, Gradienten auf GPU
Llama2-7B-Training (2K): BS = 24 (3 x 8 GPUs), seqln = 2k, Gradienten auf GPU
Ergebnisse:
CPU-Freq. 2000 MHz 2500 MHz 3000 MHz
Feinabstimmung durchschn. Training Laufzeit Sek. 649,38 584,24 507,1
% Durchsatzsteigerung 0,00 % 11,15 % 28,06 %
Trainingsdurchsatz 1K Sequenzlänge 276,08 238,81 230,82
% Durchsatzsteigerung 0,00 % 15,61 % 19,61 %
Trainingsdurchsatz 2K Sequenzlänge 883,85 807,94 778,72
% Durchsatzsteigerung 0,00 % 9,40 % 13,50 %
Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. HINWEIS: Diese Performance ist der Proof of Concept. Daten erfasst auf einer benutzerdefinierten 2P AMD EPYC™ 9554 als Hostprozessor mit unterschiedlichen Frequenzen unter Verwendung von 8 x Nvidia H100 80 GB Beschleunigern. Bei EPYC Prozessoren der 4. Generation können Endbenutzer die Frequenzen nicht anpassen
- EPYC-028D: SPECpower_ssj® 2008, SPECrate®2017_int_energy_base und SPECrate®2017_fp_energy_base basierend auf Ergebnissen, die auf der SPEC-Website veröffentlicht wurden (Stand 21.02.2024). Ergebnisse auf Basis von VMmark® Server-Power-Performance/Server- und Speicher-Power-Performance (PPKW) veröffentlicht unter https://www.vmware.com/products/vmmark/results3x.1.html?sort=score. Die ersten 105 SPECpower_ssj®2008-Veröffentlichungen mit der höchsten Gesamteffizienz (overall ssj_ops/W) wurden alle mit AMD EPYC Prozessoren ausgeführt. Für SPECrate®2017 Integer (Energy Base) werden die ersten 8 SPECrate®2017_int_energy_base Performance/System-W-Scores auf AMD EPYC CPUs ausgeführt. Für SPECrate®2017 Floating Point (Energy Base) werden die ersten 12 SPECrate®2017_fp_energy_base Performance/System-W-Scores auf AMD EPYC CPUs ausgeführt. Für VMmark® Server-Power-Performance (PPKW) übertreffen die besten fünf Ergebnisse für 2- und 4-Sockel-Matched-Pair-Server alle anderen Sockelergebnisse. Für VMmark® Server- und Speicher-Power-Performance (PPKW) haben sie den besten Gesamtscore. Die vollständige Liste ist unter https://www.amd.com/de/claims/epyc4#faq-EPYC-028D einsehbar. Weitere Informationen über die Nachhaltigkeitsziele von AMD finden Sie unter: https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html. Weitere Informationen über SPEC® sind unter https://www.spec.org verfügbar. SPEC, SPECrate und SPECpower sind eingetragene Marken der Standard Performance Evaluation Corporation. VMmark ist eine eingetragene Marke von VMware in den USA oder anderen Ländern.
Fußnoten
- SP5-292: Ergebnisse für Llama2-7B Feinabstimmung und Trainingsdurchsatz basierend auf internen Proof-of-Concept-Tests von AMD vom 15.6.2024.
Serverkonfigurationen: 2P EPYC 9554 (CPU mit benutzerdefinierten Frequenzen, 64 Kerne/128 Threads, 16 Kerne aktiv), 1,5 TB Speicher (24 x 64 GB DDR5-5600 bei 4800 MT/Sek), 3,2 TB SSD, Ubuntu® 22.04.4 LTS, mit 8 x NVIDIA H100 80 GB HBM3, HuggingFace Transformers Version 4.31.0, NVIDIA PyTorch 23.12, PEFT 0.4.0, Python 3.10.12, CUDA 12.3.2.001, TensorRT-LLM v 0.9.0.dev2024, CUDNN 8.9.7.29+cuda12.2, NVIDIA-SMI Treiberversion 550.54.15, TRT v8.6.1.6+cuda12.0.1.011, Transformer Engine v1.1
Llama2-7B Feinabstimmung: BS pro Gerät = 4, seqln = 128, Durchschn. aus 4 Läufen, 10 Epochen pro Lauf, FP16
Llama2-7B Training (1K): BS = 56 (7 x 8 GPUs), seqln = 1k, Gradienten auf GPU
Llama2-7B-Training (2K): BS = 24 (3 x 8 GPUs), seqln = 2k, Gradienten auf GPU
Ergebnisse:
CPU-Freq. 2000 MHz 2500 MHz 3000 MHz
Feinabstimmung durchschn. Training Laufzeit Sek. 649,38 584,24 507,1
% Durchsatzsteigerung 0,00 % 11,15 % 28,06 %
Trainingsdurchsatz 1K Sequenzlänge 276,08 238,81 230,82
% Durchsatzsteigerung 0,00 % 15,61 % 19,61 %
Trainingsdurchsatz 2K Sequenzlänge 883,85 807,94 778,72
% Durchsatzsteigerung 0,00 % 9,40 % 13,50 %
Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. HINWEIS: Diese Performance ist der Proof of Concept. Daten erfasst auf einer benutzerdefinierten 2P AMD EPYC™ 9554 als Hostprozessor mit unterschiedlichen Frequenzen unter Verwendung von 8 x Nvidia H100 80 GB Beschleunigern. Bei EPYC Prozessoren der 4. Generation können Endbenutzer die Frequenzen nicht anpassen
- EPYC-028D: SPECpower_ssj® 2008, SPECrate®2017_int_energy_base und SPECrate®2017_fp_energy_base basierend auf Ergebnissen, die auf der SPEC-Website veröffentlicht wurden (Stand 21.02.2024). Ergebnisse auf Basis von VMmark® Server-Power-Performance/Server- und Speicher-Power-Performance (PPKW) veröffentlicht unter https://www.vmware.com/products/vmmark/results3x.1.html?sort=score. Die ersten 105 SPECpower_ssj®2008-Veröffentlichungen mit der höchsten Gesamteffizienz (overall ssj_ops/W) wurden alle mit AMD EPYC Prozessoren ausgeführt. Für SPECrate®2017 Integer (Energy Base) werden die ersten 8 SPECrate®2017_int_energy_base Performance/System-W-Scores auf AMD EPYC CPUs ausgeführt. Für SPECrate®2017 Floating Point (Energy Base) werden die ersten 12 SPECrate®2017_fp_energy_base Performance/System-W-Scores auf AMD EPYC CPUs ausgeführt. Für VMmark® Server-Power-Performance (PPKW) übertreffen die besten fünf Ergebnisse für 2- und 4-Sockel-Matched-Pair-Server alle anderen Sockelergebnisse. Für VMmark® Server- und Speicher-Power-Performance (PPKW) haben sie den besten Gesamtscore. Die vollständige Liste ist unter https://www.amd.com/de/claims/epyc4#faq-EPYC-028D einsehbar. Weitere Informationen über die Nachhaltigkeitsziele von AMD finden Sie unter: https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html. Weitere Informationen über SPEC® sind unter https://www.spec.org verfügbar. SPEC, SPECrate und SPECpower sind eingetragene Marken der Standard Performance Evaluation Corporation. VMmark ist eine eingetragene Marke von VMware in den USA oder anderen Ländern.