In vielen dynamischen und aufstrebenden Märkten, z. B. 5G-Mobilfunk, Rechenzentren, Automobilbranche und Industrie, treiben Anwendungen die Forderung nach immer höherer Rechenbeschleunigung bei gleichzeitig hoher Energieeffizienz voran. Das Mooresche Gesetz und die Dennard-Skalierung folgen nicht mehr ihren traditionellen Verläufen. Deshalb kann der Wechsel zum Halbleiterknoten der nächsten Generation für sich allein nicht die Vorteile durch Reduzierung von Stromverbrauch und Kosten bei gleichzeitig besserer Performance bieten, wie dies in früheren Generationen der Fall war.
Als Reaktion auf diesen nichtlinearen Anstieg der Nachfrage durch Anwendungen der nächsten Generation, z. B. Beamforming im Mobilfunk und Inferenz bei maschinellem Lernen, hat AMD eine innovative Verarbeitungstechnologie entwickelt: die AI Engine, die zur AMD Versal™ Architektur gehört.
Die Architektur der KI-Engines ist als 2D-Arrays konzipiert, die aus mehreren KI-Engine-Kacheln bestehen und eine hochgradig skalierbare Lösung im gesamten Versal Portfolio ermöglichen. Diese reichen von Dutzenden bis zu Hunderten von KI-Engines in einem einzigen Chip und erfüllen die Rechenanforderungen einer breiten Palette von Anwendungen. Sie bieten unter anderem folgende Vorteile:
Für DSP-High-Performance-Anwendungen stehen die folgenden Methoden für die Codierung von KI-Engines zur Verfügung (weitere Informationen finden Sie unter: AMD Vitis™ AI Engine DSP Design)
Jede KI-Engine-Kachel besteht aus einem VLIW- (Very Long Instruction Word), SIMD- (Single Instruction Multiple Data) Vektorprozessor, der für maschinelles Lernen und erweiterte Signalverarbeitungsanwendungen optimiert ist. Der Prozessor der KI-Engine kann mit bis zu 1,3 GHz laufen, was äußerst effiziente Funktionen mit hohem Durchsatz und geringer Latenz ermöglicht.
Neben dem VLIW-Vektorprozessor enthält jede Kachel Programmspeicher zum Speichern der benötigten Befehle, einen lokalen Datenspeicher zum Speichern von Daten, Gewichten, Aktivierungen und Koeffizienten sowie einen skalaren RISC-Prozessor und verschiedene Verbindungsmodi für die Verarbeitung verschiedener Arten der Datenkommunikation.
AMD bietet zwei Arten von KI-Engines an: AIE (AI Engine) und AIE-ML (AI Engine für maschinelles Lernen), die beide erhebliche Performanceverbesserungen gegenüber FPGAs der vorherigen Generation ermöglichen. AIE beschleunigt relativ ausgewogenere Auslastungen, beispielsweise ML-Inferenzanwendungen und High-Performance-DSP, Signalverarbeitungsauslastungen wie Beamforming, Radar und weitere, die eine gewaltige Menge an Filtern und Transformationen erfordern. Mit erweiterten KI-Vector-Extensions und der Einführung von Kacheln für gemeinsam genutzten Speicher innerhalb des KI-Engine-Array bietet AIE-ML eine AIE überlegene Performance für ML-Inferenzanwendungen. Für bestimmte Typen der erweiterten Signalverarbeitung kann dagegen AIE eine bessere Performance als AIE-ML bieten.
AIE beschleunigt ausgewogene Auslastungen, beispielsweise ML-Inferenzanwendungen und erweiterte Signalverarbeitung wie Beamforming, Radar, FFTs und Filter.
Weitere Informationen finden Sie im Architekturhandbuch zur AMD Versal AI Engine.
*BFLOAT16 implementiert mit FP32-Vektorprozessor.
Die Architektur der KI-Engine-ML (AIE-ML) ist für maschinelles Lernen optimiert und erweitert sowohl den Rechnerkern als auch die Speicherarchitektur. Diese optimierten Kacheln verfügen über Fähigkeiten sowohl für ML als auch erweiterte Signalverarbeitung, bei der Unterstützung verlagert sich der Schwerpunkt jedoch von INT32 und CINT32 (üblich bei Radarverarbeitung) hin zu ML-orientierten Anwendungen.
Die Engine AIE-ML wird in zwei Versionen erhältlich sein: die AIE-ML, mit der die Rechenleistung im Vergleich zu AIE verdoppelt wird, und AIE-MLv2, mit der die Rechenleistung im Vergleich zu AIE-ML noch einmal verdoppelt und zusätzliche Bandbreite zwischen den Stream-Interconnects hinzugefügt wird.
**SW-Emulation für FP32-Unterstützung von AIE-ML.
Die KI-Engine bildet zusammen mit programmierbarer Logik und einem Verarbeitungssystem eine eng integrierte heterogene Architektur in adaptiven Versal SoCs, die sowohl auf Hardware- als auch auf Softwareebene geändert werden kann, um sich dynamisch an die Anforderungen einer Vielzahl von Anwendungen und Auslastungen anzupassen.
Die Versal Architektur wurde von Anfang an für native Softwareprogrammierbarkeit konzipiert. Sie verfügt über ein flexibles, programmierbares Network-on-Chip (NoC) mit mehreren Terabit pro Sekunde, um alle Komponenten und wichtigen Schnittstellen nahtlos zu integrieren, damit die Plattform beim Booten verfügbar ist und von Softwareentwicklern, Datenwissenschaftlern und Hardwareentwicklern einfach programmiert werden kann.
KI-Engines für heterogene Auslastungen – von drahtloser Verarbeitung bis hin zu maschinellem Lernen in Cloud, Netzwerk und Edge
Rechenzentrum-Computing
Die Bild- und Videoanalyse spielt eine zentrale Rolle bei der explosionsartigen Erhöhung der Datenmengen im Rechenzentrum. Diese Auslastungen entsprechen einem sogenannten „gefalteten neuronalen Netzwerk (Convolutional Neural Network, CNN) und sind äußerst rechenintensiv. Oft werden dabei mehrere TeraOPs erreicht. KI-Engines wurden daraufhin optimiert, diese Rechendichte kostengünstig und energieeffizient bereitzustellen.
Drahtlose Verarbeitung für 5G
5G kann einen beispiellosen Durchsatz bei extrem niedriger Latenz bieten, erfordert dafür jedoch deutlich mehr Signalverarbeitung. KI-Engines können diese Echtzeit-Signalverarbeitung in der Funkeinheit (Radio Unit, RU) und der verteilten Einheit (Distributed Unit, DU) mit geringerem Stromverbrauch ausführen, z. B. mit den hochentwickelten Beamforming-Techniken, die in Massive-MIMO-Panels zur Erhöhung der Netzwerkkapazität zum Einsatz kommen.
ADAS und automatisiertes Fahren
CNNs sind eine Klasse von tiefen künstlichen neuronalen Netzen mit Feedforward-Architektur, die vor allem für Analysen in der visuellen Bildverarbeitung genutzt werden. Da Computer inzwischen in allen Bereichen Einzug gehalten haben – von autonomen Fahrzeugen bis zur Videoüberwachung –, sind CNNs immer wichtiger geworden. KI-Engines bieten die erforderliche Rechendichte und Effizienz, die für kleine Bauformen mit engen Temperaturbereichen benötigt werden.
Luft- und Raumfahrt sowie Verteidigung
Die Zusammenführung leistungsstarker vektorbasierter DSP-Engines mit KI-Engines in einer kleinen Bauform ermöglicht eine Vielzahl von Systemen in Luft- und Raumfahrt sowie Verteidigung, darunter Phased Array Radar, Frühwarnung (Early Warning, EW), MILCOM und unbemannte Fahrzeuge. KI-Engines unterstützen heterogene Auslastungen, die von Signalverarbeitung und Signalkonditionierung bis hin zur KI-Inferenz für Multi-Mission-Nutzdaten reichen. Sie bieten die erforderliche Recheneffizienz, um die extremen Anforderungen an Größe, Gewicht und Stromversorgung (Size, Weight and Power, SWaP) dieser für den Erfolg einer Mission entscheidenden Systeme zu erfüllen.
Industrie
Industrielle Anwendungen wie beispielsweise Robotik und maschinelle Bildverarbeitung (Machine Vision) kombinieren Sensorfusion mit KI/ML, um Datenverarbeitung an der Peripherie und nahe an der Informationsquelle durchzuführen. KI-Engines verbessern Performance und Verlässlichkeit dieser Echtzeitsysteme trotz der durch ihre Umgebung bedingten Unsicherheit.
Drahtlos-Test-Equipment
Echtzeit-DSP wird in großem Umfang in Test-Equipment für die Drahtloskommunikation eingesetzt. Die Architektur der KI-Engine eignet sich sehr gut für alle Arten von Protokollimplementierungen, u. a. für 5G vom digitalen Frontend bis zum Beamforming und Basisband.
Gesundheitswesen
Zu Anwendungen im Gesundheitswesen, die KI-Engines nutzen, gehören hochleistungsfähiges paralleles Beamforming für Ultraschallsysteme in der Medizin, Rückprojektion für CT-Scanner, Auslagerung der Bildrekonstruktion in MRT-Systemen und rechnergestützte Diagnosen in einer Vielzahl klinischer und diagnostischer Anwendungen.
KI-Engines werden von Anfang an für Softwareprogrammierbarkeit und Hardwareanpassbarkeit konzipiert. Um die Performance dieser Rechen-Engines auszuschöpfen, können Entwickler mit zwei verschiedenen Design-Flows arbeiten, um Kompilierungen innerhalb von Minuten auszuführen und schnell verschiedene Mikroarchitekturen zu untersuchen. Die beiden Design-Flows bestehen aus:
KI-Engine-Arrays können auch eine hinsichtlich Ressourcen und Stromverbrauch optimierte Implementierung von DSP-High-Performance-Funktionen ermöglichen. Die Nutzung von KI-Engines in Verbindung mit den FPGA-Strukturressourcen können eine äußerst effiziente Implementierung von DSP-High-Performance-Anwendungen ermöglichen. Erfahren Sie, wie Sie mit dem AMD Vitis Tool-Flow die Funktionen zur Hardwarebeschleunigung von KI-Engines für DSP-Anwendungen nutzen können: AMD Vitis AI Engine DSP Design
Mit der Vitis Acceleration Library stellt AMD vordefinierte Kernels bereit, die Folgendes ermöglichen:
Software- und Hardwareentwickler programmieren direkt die auf Vektorprozessoren basierenden KI-Engines und können, sofern sinnvoll, vordefinierte Bibliotheken mit C/C++-Code in Anspruch nehmen.
KI-Datenwissenschaftler bleiben in ihren vertrauten Framework-Umgebungen wie PyTorch oder TensorFlow und rufen vordefinierte ML-Overlays über Vitis AI auf, ohne die KI-Engines direkt programmieren zu müssen.
Die Bibliotheken sind Open Source und auf GitHub unter https://github.com/Xilinx/Vitis_Libraries verfügbar.
Die Architektur der KI-Engine basiert auf einer Datenflusstechnologie. Verarbeitungselemente sind in Arrays von 10 bis 100 Kacheln angeordnet und erstellen damit ein einziges, mehrere Recheneinheiten übergreifendes Programm. Wenn ein Designer Anweisungen zum Spezifizieren der Parallelität für alle diese Kacheln integrieren müsste, dann wäre das sehr mühsam, wenn nicht gar unmöglich. Um diese Schwierigkeit zu überwinden, wird das KI-Engine-Design in zwei Stufen durchgeführt: Auf die Entwicklung eines einzelnen Kernels folgt die Erstellung eines Adaptive Data Flow (ADF)-Graphen, bei dem mehrere Kernels zu einer Gesamtanwendung verbunden werden.
Vitis Unified IDE stellt ein einheitliches IDE-Cockpit bereit, das die Entwicklung des KI-Engine-Kernels mithilfe von C/C++-Programmiercode und Design von ADF-Graphen ermöglicht. Designer können insbesondere:
Standardmäßig wird jeweils ein Kernel auf einer KI-Engine-Kachel ausgeführt. Es ist jedoch auch möglich, mehrere Kernels auf derselben KI-Engine-Kachel auszuführen und die Verarbeitungszeit gemeinsam zu nutzen, sofern die Anwendung dies zulässt.
Nachfolgend wird ein Beispiel dieses Konzepts gezeigt:
Innerhalb der Vitis Unified IDE kann das KI-Engine-Design in ein größeres Gesamtsystem integriert werden, das alle Aspekte des Designs in einem integrierten Flow vereint, in dem Simulation, Hardwareemulation, Debugging und Bereitstellung möglich sind.
Das VEK280 Evaluierungskit ist mit dem adaptiven Versal AI Edge VE2802 SoC ausgestattet. Es bietet Engines für AIE-ML und DSP-Hardwarebeschleunigung sowie mehrere Optionen für Hochgeschwindigkeitskonnektivität. Dieses Kit wurde für ML-Inferenzanwendungen in Märkten wie Automobil, Bildverarbeitung, Luft- und Raumfahrt sowie Verteidigung, Industrie, Wissenschaft und Medizin optimiert.
Das VCK190 Evaluierungskit ermöglicht Designern, Lösungen unter Verwendung von KI- und DSP-Engines zu entwickeln, die im Vergleich zu aktuellen CPUs der Serverklasse eine über 100-mal höhere Rechenleistung bieten. Mit einer Vielzahl von Konnektivitätsoptionen und standardisierten Entwicklungs-Flows bietet der Versal AI Core-Serie VC1902-Chip den höchsten KI-Inferenz- und Signalverarbeitungsdurchsatz des Versal Portfolios für Cloud-, Netzwerk- und Edge-Anwendungen.
Die AMD Vitis Unified Software Platform bietet umfassende Core-Entwicklungskits und Bibliotheken, die Hardware-Beschleunigungstechnologie verwenden.
Besuchen Sie die Repositorys Vitis GitHub und AI Engine Development, um auf eine Vielzahl von Tutorials zur KI-Engine zuzugreifen und mehr über die technischen Funktionen und die Designmethodik zu erfahren.
KI-Engine-Tools, sowohl Compiler als auch Simulator, sind in die Vitis IDE integriert und erfordern eine zusätzliche dedizierte Lizenz. Weitere Informationen, wie Sie auf die KI-Engine-Tools zugreifen und eine Lizenz erwerben können, erhalten Sie bei Ihrem lokalen AMD Vertriebsmitarbeiter, oder besuchen Sie die Seite mit dem Kontaktformular.
Der AMD Vitis Model Composer ist ein modellbasiertes Designtool, das eine rasche Konzeptuntersuchung in der Simulink® und MATLAB® Umgebung ermöglicht. Es erleichtert Entwicklung und Tests von ADF-Graphen der KI-Engine auf Systemebene, sodass Benutzer RTL- und HLS-Blöcke mit KI-Engine-Kernels und/oder -Graphen in dieselbe Simulation integrieren können. Durch Nutzung der Funktionen zur Signalgenerierung und -visualisierung im Simulink und MATLAB Tool können DSP-Ingenieure Design und Debugging einer vertrauten Umgebung durchführen. Weitere Informationen zur Verwendung von Versal AI Engines mit dem Vitis Model Composer finden Sie auf der Seite mit AI Engine Ressourcen.
Das VCK190 Kit basiert auf der Versal AI Core-Serie und ermöglicht Designern, Lösungen mit KI-Engines und DSP-Engines zu entwickeln. In dem Evaluierungskit ist alles enthalten, was Sie für den Start Ihrer Entwicklung benötigen.
Ebenfalls erhältlich ist die PCIe®-basierte VCK5000 Entwicklungskarte mit dem Versal AI Core-Chip mit KI-Engines, die für KI-Inferenz mit hohem Durchsatz im Rechenzentrum entwickelt wurden.
Bei der AIE-ML-Entwicklung bietet das auf der Versal AI Edge-Serie basierende VEK280 Evaluierungskit Entwicklern die Möglichkeit, DSP- und ML-Anwendungen zu erstellen.
Mit den Schulungs- und Lernressourcen von AMD können Sie die praktischen Fähigkeiten und grundlegenden Kenntnisse erwerben, um Ihre Produktivität beim nächsten Entwicklungsprojekt mit einem adaptiven Versal SoC zu maximieren. Verfügbare Kurse:
Von der Lösungsplanung bis hin zur Systemintegration und -validierung bietet AMD maßgeschneiderte Ansichten der umfangreichen Dokumentationsliste zu adaptiven Versal SoCs, um die Produktivität von Benutzerdesigns zu maximieren. Besuchen Sie die Designprozess-Hubs für adaptive Versal SoCs, um die neuesten Inhalte für Ihre Designanforderungen zu bekommen und die Fähigkeiten und Designmethoden der KI-Engine zu entdecken.
Melden Sie sich für die E-Mail-Liste an, um die neuesten Nachrichten und Meldungen zu adaptiven SoCs and FPGAs zu erhalten.
