KI: Von Endpunkten über die Edge zur Cloud, dank AMD

Generative KI verändert die Art und Weise, wie Unternehmenskunden arbeiten. Tatsächlich wird KI schnell zu einem Teil von fast jedem Geschäftsprozess, den sie unterstützt – vom Kundenservice bis zur Datenanalyse. Und diese immer tiefgreifendere Integration wird weiter zunehmen. Allerdings ist KI eine relativ neue Auslastung, die der bestehenden Infrastruktur hinzugefügt wird und aktuelle Hardwarekonfigurationen zusätzlich belastet.

Wenn Kunden nahtlose KI-Erlebnisse und Produktivitätssteigerungen sofort und langfristig genießen möchten, benötigen sie bei der Weiterentwicklung ihrer IT-Infrastruktur Hilfe. An dieser Stelle kommen die Technologien von AMD ins Spiel. Diese bieten Unternehmen die Performance und Effizienz, um bestehende Auslastungen zusammen mit den neuen Möglichkeiten, die KI mit sich bringt, bereitzustellen. 

Die Welt von KI mit AMD EPYC™ Prozessoren entdecken

Ein Drittel aller Server weltweit wird mit AMD EPYC™ Prozessoren angetrieben, und das aus gutem Grund.1 Die allgemeinen AMD EPYC Prozessoren​ bieten die weltweit beste Rechenzentrums-CPU für Unternehmenskunden und stellen bis zu 96 Kernoptionen bereit, die im Vergleich zu Konkurrenzprodukten das bis zu 1,75-Fache der Performance pro CPU-Watt und das 1,8-Fache der Performance in SPECrate® 2017_int_base liefern.2

High-Performance-CPUs von AMD bieten eine starke Option für Unternehmen, die KI-Auslastungen wie Empfehlungssysteme, Lösungen für maschinelles Lernen und andere Einsatzmöglichkeiten für generative KI bereitstellen. 

Die Nutzung einer bewährten Standardinfrastruktur in Kombination mit einem Upgrade auf leistungsstarke AMD EPYC Prozessoren hilft Kunden dabei, die Kosten für Serverstellfläche, Stromverbrauch und Anschaffung niedrig zu halten, und kann die Server-Performance und -Dichte erhöhen – so können mehr Anwendungsfälle in greifbare Nähe rücken und die Kapitalrendite verbessert werden.

Mehr erfahren über AMD EPYC™ Prozessoren.

KI mit AMD Instinct™ Beschleunigern voranbringen

Viele KI-Auslastungen und -Anwendungsfälle erfordern mehr, als AMD EPYC CPUs allein leisten können. Large Language Models wachsen stetig zu Hunderten von Milliarden – ja sogar Billionen – Parametern an.

Glücklicherweise bietet AMD eine Vielzahl von Auslastungs-Engines, um selbst die anspruchsvollsten KI-Aufgaben zu meistern. Durch die Erweiterung der durch AMD EPYC Prozessoren effektiv verwalteten KI-Auslastungen kommt die Leistung der GPU-Beschleunigung dank AMD Instinct™ Beschleunigern noch hinzu. Während AMD Server-CPUs kleine bis mittlere Modelle und Bereitstellungen mit gemischter Auslastungsinferenz verwalten, vereinfachen AMD Beschleuniger KI-Training in großem Umfang und in Echtzeit, dedizierte KI-Bereitstellungen, mittlere bis große Modelle und große Echtzeitinferenz. Das beschleunigt KI-Ergebnisse für Unternehmen, die das Beste aus den neuen Technologien machen wollen.

AMD bietet verschiedene GPU-Lösungen für unterschiedliche Performance-Level und Bauformen. Der AMD Instinct™ MI300X Beschleuniger mit dem AMD ROCm™ Software-Stack ermöglicht beim Ausführen eines Llama2-70b Chats eine ~2,1-fache Verbesserung der Latenz im Vergleich zum Nvidia H100 Produkt und bei der Llama2-70b Gesamtlatenz eine ~8-fache Verbesserung im Vergleich zu Produkten der vorherigen Generation.3,4

Mit der unternehmensgerechten Open-Source-Software AMD ROCm™, die die AMD Beschleunigung unterstützt, können Unternehmen schnell auf KI-Auslastungen zugreifen. Dabei gibt es Unterstützung für ca. 400.000 Hugging-Face-Modelle und eine enge Zusammenarbeit mit anderen führenden KI-Unternehmen wie PyTorch und OpenAI.

Mehr erfahren über AMD Instinct™ Beschleuniger.

Vielseitigkeit durch AMD Alveo™ Beschleuniger bieten

AMD Alveo™ Beschleuniger sind dank ihres Designs anpassungsfähig und liefern Echtzeit-Performance im Rechenzentrum für eine Vielzahl von Anwendungsfällen. Kunden können die Plattform für die erforderliche Auslastung optimieren, indem sie sich an neue Algorithmen und Anwendungsfälle nach Bedarf anpassen.

Mit einer niedrigen Latenz für Echtzeitanwendungen, hohem Durchsatz und hoher Effizienz sind AMD Alveo Beschleuniger ideal für Kunden, die sicherstellen möchten, dass sie alles für Datenanalysen, HPC, Medien- und Infrastrukturbeschleunigung und vieles mehr haben.

Mehr erfahren über AMD Alveo™ Beschleuniger.

KI mit AMD Ryzen™ Prozessoren in lokale Geräte integrieren

KI wird nicht nur für Server eingesetzt. Sie steht auch auf Endbenutzergeräten zur Verfügung und verbessert die Arbeitsweise der Menschen und herkömmliche Prozesse. Dies ermöglicht ein schnelleres und einfacheres Arbeiten, da die Teams sich auf das große Ganze konzentrieren können.

AMD Ryzen™ PRO Prozessoren sind die weltweit fortschrittlichsten, extrem energieeffizienten Prozessoren für Unternehmens-Desktops5 und bieten die erste integrierte KI-Engine in einem x86-Prozessor.6 Diese Dimension der KI-Ermöglichung von Servern bis zu Client-Geräten bietet unglaubliche Fähigkeiten, die vorher einfach nicht möglich waren.

Mehr erfahren über AMD Ryzen™ PRO Prozessoren.

Mit adaptiven AMD Versal™ SoCs für Edge AI das Bild vervollständigen

KI gibt es aber nicht nur für PCs und Server. Es gibt viele Anwendungen, bei denen eine lokale KI-Verarbeitung auf Edge-Geräten einen großen Einfluss auf Performance und Sicherheit haben kann.

In der Automobilbranche kann KI an der Edge die Sicherheit verbessern, indem Sensordaten lokal für Entscheidungen in Echtzeit verarbeitet werden. Schließlich möchte man nicht, dass ein autonomes Fahrzeug darauf warten muss, bis die Daten in der Cloud verarbeitet sind, damit entschieden wird, ob die Bremse betätigt werden soll, um einen Unfall zu vermeiden.

Im Gesundheitswesen kann KI an der Edge Bildgebungsgeräte verbessern, um Diagnosen zu beschleunigen oder Echtzeitvisualisierungen zur Unterstützung bei Operationen bereitzustellen. Sie kann auch zum Schutz der Privatsphäre der Patienten beitragen, da Daten nicht über die Cloud gesendet werden müssen.

Und im Bereich der Industrie kann KI an der Edge helfen, dass Fabrikanlagen sicherer und effizienter betrieben werden. AMD FPGAs und adaptive SoCs verwalten effizient die Datenvorverarbeitung, Inferenz und Nachverarbeitung für KI-gesteuerte und klassische integrierte Systeme, wobei das neueste Angebot, das adaptive AMD Versal™ AI Edge-Serie SoC der 2. Generation, alle Funktionen auf einem einzigen Chip durchführt.

Mit AMD Versal Produkten können Kunden KI in allen Aspekten ihres Geschäfts einbringen und so bestehende Verbraucher- und Industrieumgebungen intelligenter und KI-fähig gestalten.

Mehr erfahren über adaptive AMD Versal™ SoCs.

Die Vorteile von KI sind allgegenwärtig, und sie wird Teil der Struktur der modernen Datenverarbeitung. Unternehmen müssen innovative Technologien wie die von AMD anpassen und übernehmen, wenn sie die Vorteile für sich nutzen möchten.

Wenn Sie mehr über die AMD Produkte und deren Unterstützung für das wachsende KI-Ökosystem erfahren möchten, wenden Sie sich an Ihren lokalen Ansprechpartner oder besuchen Sie die Seite mit den KI-Lösungen von AMD.

Weitere Ressourcen

AMD Arena

Erweitern Sie Ihr AMD Produktwissen durch Schulungen zu AMD Ryzen™ PRO, AMD EPYC™, AMD Instinct™ und weiteren.

Schulung anfordern

Verwandte Artikel

Weitere Artikel entdecken
Fußnoten
  1. Quelle: Mercury Research Sell-in Revenue Shipment Estimates, 2023 Q4
  2. SP5-013D: Vergleich zu SPECrate®2017_int_base basierend auf veröffentlichten Wertungen von www.spec.org vom 02.06.2023. Vergleich der Veröffentlichung von 2P AMD EPYC 9654 (1800 SPECrate®2017_int_base, 720 W Gesamt-TDP, 23.610 $ gesamt 1 Ku, 192 Kerne gesamt, 2,500 Perf/W, 0,076 Perf/CPU $, http://spec.org/cpu2017/results/res2023q2/cpu2017-20230424-36017.html) ist das 1,80-Fache der Performance der veröffentlichten Wertung für 2P Intel Xeon Platinum 8490H (1000 SPECrate®2017_int_base, 700 W Gesamt-TDP, 34.000 $ gesamt 1 Ku, 120 Kerne gesamt, 1,429 Perf/W, 0,029 Perf/CPU $, http://spec.org/cpu2017/results/res2023q1/cpu2017-20230310-34562.html) [bei dem 1,75-Fachen der Performance/W] [bei dem 2,59-Fachen der Performance/CPU $]. Veröffentlichung von 2P AMD EPYC 7763 (861 SPECrate®2017_int_base, 560 W Gesamt-TDP, 15.780 $ gesamt 1 Ku, 128 Kerne gesamt, 1,538 Perf/W, 0,055 Perf/CPU $, http://spec.org/cpu2017/results/res2021q4/cpu2017-20211121-30148.html) wird zu Vergleichszwecken mit dem 0,86-Fachen der Performance gezeigt [bei dem 1,08-Fachen der Performance/W] [bei dem 1,86-Fachen der Performance/CPU $]. 1Ku-Preise für AMD und Intel nach Angaben auf ARK.intel.com zum Stand 01.06.2023. SPEC®, SPEC CPU® und SPECrate® sind eingetragene Marken der Standard Performance Evaluation Corporation. Weitere Informationen unter www.spec.org.
  3. MI300-38A: Gesamtlatenz für Textgenerierung mit dem Llama2-70b-Chatmodell mit vLLM-Vergleich unter Verwendung eines benutzerdefinierten Docker-Containers für jedes System basierend auf internen Tests von AMD vom 14. Dezember 2023. Sequenzlänge mit 2.048 Eingabe-Token und 128 Ausgabe-Token. Bei vLLM-Tests wurde eine erweiterte Version des benchmark_latency.py Skripts aus dem Benchmark-Verzeichnis von https://github.com/vllm-project/vllm verwendet.  Erweiterungen wurden hinzugefügt, um die Verwendung von Eingabeaufforderungen mit bestimmten Längen zu ermöglichen. Die für MI300X verwendete vLLM-Version enthält Änderungen, die außerhalb von AMD noch nicht allgemein verfügbar sind. Konfigurationen: 2P Intel Xeon Platinum 8480C CPU-Server mit 8 AMD Instinct™ MI300X (192 GB, 750 W) GPUs, ROCm® 6.1.0 Vorabversion, PyTorch 2.2.0, vLLM für ROCm, Ubuntu® 22.04.2 im Vergleich zu einer Nvidia DGX H100 mit 2 Intel Xeon Platinum 8480CL Prozessoren, 8 Nvidia H100 (80 GB, 700 W) GPUs, CUDA 12.1, PyTorch 2.1.0, vLLM v.02.2.2 (neueste Version), Ubuntu 22.04. Serverhersteller wählen möglicherweise andere Konfigurationen, was zu anderen Ergebnissen führen kann. Die Performance kann aufgrund neuester Treiber und Optimierungen variieren.
  4. MI300-33: Text generiert mit Llama2-70b-Chat mit einer Eingabesequenzlänge von 4.096 und einem Token-Vergleich mit 32 Ausgängen unter Verwendung eines benutzerdefinierten Docker-Containers für jedes System auf der Grundlage von internen Tests von AMD vom 17. November 2023. Konfigurationen: 2P-Server mit Intel Xeon Platinum CPU mit 4 x AMD Instinct™ MI300X (192 GB, 750 W) GPUs, ROCm® 6.0 Vorabversion, PyTorch 2.2.0, vLLM für ROCm, Ubuntu® 22.04.2. Im Vergleich zu 2P-Server mit AMD EPYC 7763 CPU mit 4 x AMD Instinct™ MI250 (128 GB HBM2e, 560 W) GPUs, ROCm® 5.4.3, PyTorch 2.0.0, HuggingFace Transformers 4.35.0, Ubuntu 22.04.6. 4 GPUs auf jedem System wurden für diesen Test verwendet. Serverhersteller wählen möglicherweise andere Konfigurationen, was zu anderen Ergebnissen führen kann. Die Performance kann aufgrund neuester Treiber und Optimierungen variieren.
  5. Basiert auf kleinerer Knotengröße des AMD Prozessors für x86-Plattformen (Stand: September 2023). GD-203.
  6. Mit Stand Januar 2024 hatte AMD die erste erhältliche dedizierte KI-Engine für Desktop-PC-Prozessoren. „Dedizierte KI-Engine“ ist hierbei als eine KI-Engine definiert, deren einzige Funktion das Verarbeiten von KI-Inferenzmodellen und die Teil des x86-Prozessor-Die ist. Weitere Informationen finden Sie unter: https://www.amd.com/de/products/processors/consumer/ryzen-ai.html. PXD-03