Übersicht

Optimiert für KI-Auslastungen

Einige Teams müssen ein Modell trainieren oder optimieren, andere müssen ein vorhandenes offenes Modell in die Produktion bringen. ROCm unterstützt beide Pfade auf AMD GPUs mit Workflows für verteiltes Training und Software zur Optimierung, Bereitstellung und Nutzung von KI-Inferenz im großen Maßstab.

KI-Inferenz

Produktionsreife KI-Inferenz mit ROCm

Stellen Sie führende Open-Source-Modelle auf AMD GPUs mit einem vollständig Open-Source-basierten Inferenz-Stack bereit. Starten Sie mit vorgefertigten Containern und Upstream-Unterstützung für Frameworks.

Engine wählen

Mit der Bereitstellung offener Modelle beginnen

AMD ROCm bietet einen End-to-End-Inferenz-Stack mit Upstream-Framework-Unterstützung, vLLM- oder SGLang-Containern und mehr, sodass Ihr Team mit etablierter Inferenzsoftware beginnen kann, bevor ein Modell in Ihre Anwendung integriert wird.

Geringerer Platzbedarf

Speicher- und Bereitstellungseffizienz verbessern

ROCm kombiniert quantisierte Modellpakete mit nativer Low-Precision-Ausführung und optimierten Transformer-Hot-Path-Kernels, wodurch sich der Tuning-Aufwand reduziert und gleichzeitig der Durchsatz sowie die Effizienz für reale Produktionsumgebungen maximiert wird.

Der wachsenden Nachfrage gerecht werden

Inferenz über GPUs und Knoten hinweg skalieren

Wenn ein Modell oder Anforderungsvolumen die Kapazität eines Servers übersteigt, verteilen Sie die Bereitstellung auf AMD Instinct™ GPUs. Unterstützte Bereitstellungen können das Vorfüllen und Dekodieren voneinander trennen, sodass Teams Ressourcen für jede Phase zuweisen können.

Flottensteuerung

Inferenz auf Kubernetes ausführen

ROCm lässt sich über den AMD GPU Operator, integrierte Telemetrie und eine modulare Treiberarchitektur in Kubernetes integrieren. Dies unterstützt automatisierte Rollouts, Observability und ein planbares Lifecycle-Management in sicheren sowie Air-Gapped-Umgebungen.

ROCm Infera entdecken

KI-Training

End-to-End-KI-Training im großen Maßstab auf AMD GPUs

Von einheitlichen Workflows bis hin zur Zuverlässigkeit auf Cluster-Ebene – Primus vereinfacht und beschleunigt das Training großer Modelle.

Flexibilität des Frameworks

Trainingsläufe starten, die wiederholbar sind

Beginnen Sie mit dem Training auf AMD Instinct™ GPUs mit einheitlichen Workflows über AMD Primus Konzepte für Megatron-LM, PyTorch TorchTitan oder JAX MaxText. Verwenden Sie eine einzige CLI und wiederverwendbare Konfigurationen, um Experimente erneut auszuführen und Änderungen zu vergleichen.

GPUs auslasten

Engpässe bei Transformer-Training angehen

Primus verbessert den Trainingsdurchsatz und die GPU-Auslastung durch optimierte Kernel und kommunikationsorientierte Beschleunigung. Teams können diese Funktionen über den gesamten Primus-Stack nutzen oder Primus Turbo in benutzerdefinierte Trainingsumgebungen integrieren.

Jobs in Bewegung halten

Skalierbares verteiltes Training

Wenn ein Modell die Kapazität eines Servers übersteigt, hilft Primus, das Training auf AMD Instinct™ GPUs und Knoten zu verteilen. Primus-SaFE verwendet topologieorientierte Platzierung und automatische Wiederholungen, um Jobs mit langer Ausführungszeit nach Unterbrechungen wiederherzustellen, wenn Cluster wachsen.

Prüfen, dann tracken

Enterprise-fähiger Trainingsbetrieb

Primus hilft Teams, den Zustand der Knoten zu bewerten, bevor große Trainingsjobs gestartet werden. Während des Trainings bieten Telemetrie und Dashboards Einblick in die Performance und den Zustand des Clusters, sodass Teams Probleme schneller erkennen und beheben können.

AMD Primus entdecken

Neueste Nachrichten

Mehr erfahren über die neuesten Entwicklungen in der KI-Entwicklung mit ROCm.

Alle ansehen

Unterstützte Hardware

AMD Radeon Graphics

AMD Radeon Grafikkarten

Bestimmte Funktionen von ROCm unterstützen ausgewählte AMD Radeon Grafikkarten.¹ Entdecken Sie professionelle Grafikkarten der nächsten Generation.

Radeon PRO entdecken Radeon RX entdecken

Ressourcen für Entwickler

ROCm Developer screen shot

ROCm Entwickler-Hub

Starten Sie mit der Entwicklung von mit AMD GPU beschleunigten Anwendungen. Besuchen Sie den ROCm Entwickler-Hub, um Zugriff auf die neuesten Benutzerhandbücher, Container, Schulungsvideos, Online-Seminare und mehr zu erhalten.

Erste Schritte

ROCm Newsletter

Erhalten Sie die neuesten Nachrichten über ROCm:

Immer informiert bleiben
Fußnoten

© 2024 Advanced Micro Devices, Inc. Alle Rechte vorbehalten. AMD, das AMD Pfeillogo, AMD ROCm, AMD Instinct, EPYC, Radeon Instinct und deren Kombinationen sind Marken von Advanced Micro Devices, Inc. PyTorch ist eine Marke oder eingetragene Marke von PyTorch. Andere Produktnamen in diesem Dokument dienen nur zur Information und können Marken ihrer jeweiligen Inhaber sein.

  1. Eine vollständige Liste der Radeon Teile, die von ROCm unterstützt werden, finden Sie unter https://rocm.docs.amd.com/en/latest/reference/gpu-arch-specs.html.