Übersicht

Integrierte Bildverarbeitungssysteme sind die Eckpfeiler vieler fortschrittlicher Funktionen in modernen Anwendungen, u. a. bei Augmented Vision, im Automobilbereich, bei maschineller Bildverarbeitung (Machine Vision), in der Medizin und bei Kameras für Smart-City-Systeme. Moderne Bildverarbeitungssysteme erfordern eine hohe Auflösung, hohe Bildraten und eine zunehmende Pixeltiefe, was erhebliche Herausforderungen bei Datenrate und Speicherbandbreite mit sich bringt. AMD bietet sowohl kostenoptimierte als auch leistungsstarke MIPI-basierte Lösungen für die Erfassung von Kamerasensoren und Displays an, die die Protokolle D-PHY, C-PHY, CSI-2 und DSI unterstützen. Darüber hinaus bietet AMD eine breite Palette an Bildsignalverarbeitungs-IP für Farbkonvertierung, Korrektur, Abgleich und weitere Arbeitsschritte, die von vielen Bildsensoranwendungen benötigt werden. Durch die Flexibilität von AMD Chips können die speziellen Anforderungen bei jedem Design erfüllt werden, und Entwickler sind in der Lage, sowohl diesen Bedürfnissen gerecht zu werden als auch ihre Lösungen zu differenzieren.

AMD MIPI IP-Kerne

CSI-2

Subsysteme für Empfänger- und Sender-Controller

  • Unterstützung von 1–4 D-PHY Lanes für MIPI CSI-2 Sender
  • Unterstützung von 1–4 D-PHY-Lanes und 1–3 C-PHY Lanes für MIPI CSI-2 Empfänger
  • Leitungsraten von 80 bis 4500 Mb/s für D-PHY und 400 bis 4500 Msps für C-PHY
  • Unterstützung mehrerer Datentypen (RAW, RGB, YUV)
  • Unterstützung von 1, 2, 4 oder 8 Pixel pro Takt
  • Filterung basierend auf VC-IDs (Virtual Channel)
  • AXI4-konforme Schnittstelle mit Unterstützung für Imager und Prozessoren mit 4K-Auflösung
  • Interner D-PHY/C-PHY ermöglicht den direkten Anschluss an Bildquellen
  • Geringe Anzahl an Ressourcen

DSI

Subsysteme für Empfänger- und Sender-Controller

  • Unterstützung von 1 bis 4 Lanes
  • Standard-PPI-Schnittstelle von/zu D-PHY und C-PHY
  • Unterstützung aller obligatorischen Datentypen
  • Unterstützung von programmierbarer EoTp-Generierung (End of Transmission Packet) für virtuelle Kanäle (1 bis 4)
  • Energiesparende Generierung im LP-Modus (Low Power) und ULP-Modus (Ultra Low Power)
  • Interoperabilität über mehrere Lanes
  • ECC-Generierung für Paket-Header
  • CRC-Generierung für Datenbytes (kann optional sein)
  • Pixel-Byte-Konvertierung basierend auf Datenformat
  • AXI4-Lite-Schnittstelle für Zugriff auf weitere Register
  • AXI4-konform für Eingang-Videostreams

AMD Chips unterstützen mehrere MIPI-Konfigurationen, von einzelnen bis zu mehreren Links, verschiedene Datenraten und Datentypen und können in einem Chip Empfangs- und Sendedatenpfade mischen. Zudem sind AMD Chips erweiterbar und sind dabei nur durch die Anzahl der E/As begrenzt. C-PHY benötigt dedizierte Pinbelegungen für drei unterschiedliche Spannungspegel und kann auf bis zu drei Lanes erweitert werden. Um Lösungen weiter zu beschleunigen oder zu optimieren, ermöglicht die programmierbare Logik die Integration der gesamten ISP-Kette (Image Signal Processing), bleibt dabei jedoch skalierbar und im Feld Upgrade-fähig, wenn ISP-Algorithmen besser werden.

MIPI-Unterstützung für verschiedene AMD Produkte

Cost-Optimized Portfolio High-Performance-Chips
  • Versal™ Chips der zweiten Generation unterstützen physische C-PHY-Schnittstellen mit höherer Bandbreite
    • Unterstützung für CSI-2- und DSI-Protokolle
    • Verringerte E/A-Anzahl für höhere Bandbreite mit dedizierter Pinbelegung
    • C-PHY Bandbreite bis zu 4,5 GS/s (~10,28 Gb/s)
  • High-Performance-Chips verfügen über integrierte Unterstützung für die physische Schicht D-PHY
    • Adaptive Versal SoCs haben Datenraten von bis zu 3200 Mb/s pro Lane mit Bildauflösung von bis zu 32 MP
    • Adaptive Versal SoCs der 2. Generation unterstützen D-PHY-Datenraten bis zu 4,5 Gb/s
  • Diese Chips verfügen außerdem über dedizierte Engines für Echtzeitverarbeitung, Grafikverarbeitung, Videokodierung und -dekodierung, Wellenform, Paketverarbeitung und maschinelles Lernen/künstliche Intelligenz
  • Vorgestellte Geräte:

Anwendungen

AMD bietet MIPI-basierte Lösungen für Erfassung und Anzeige von Kamerasensoren über kostenoptimierte High-Performance-Chips, die Edge-Anwendungen in einer Vielzahl von Märkten ermöglichen.

Automobilbranche

Das AMD Portfolio für die Automobilbranche bietet Lösungen für die Herausforderungen der Branche in den Bereichen fortschrittliche Fahrerassistenzsysteme (ADAS), automatisiertes Fahren, Fahrzeug-Infotainment und Fahrerinformationen sowie Elektrifizierung und Vernetzung. Mit unserer anpassbaren Architektur können Anwender Berechnungen mit niedriger Latenz realisieren und eine Vielzahl von Schnittstellen – einschließlich MIPI – verbinden. Wenn Erweiterungen des MIPI-Protokolls in der Toolchain veröffentlicht werden, kann sich der flexible Chip von AMD anpassen, sodass Anwender ihre Systeme mit den neuesten Schnittstellen für die schnellste mögliche Datenübertragung entwickeln können. AMD führt C-PHY-Unterstützung für MIPI-Anwendungen mit verringerter E/A-Anzahl und höherer Bandbreite ein.

Industrie

Smart Citys und ein intelligenter Einzelhandel erfordern eine komplexe Mischung von Rechenanforderungen, die von der Cloud bis zur Edge reichen. Die AMD Lösungen für industrielle Bildverarbeitung bieten Kamera- und Bildverarbeitungsplattformen mit optimaler Performance, Leistung und Kosten bei gleichzeitig geringer Latenz und hoher Zuverlässigkeit. Die AMD Angebote umfassen heterogene integrierte Verarbeitung, E/A-Flexibilität, hardwarebasierte deterministische Steuerung und umfassende Lösungen, die mit den rauen Umgebungen über die in der Industrie üblichen Lebenszyklen zurechtkommen. Die Vitis™ Unified Software Platform und die Vitis KI-Entwicklungsumgebung vereinfachen die Entwicklung beschleunigter Anwendungen und AI Inference über verschiedene AMD Hardwareplattformen, sodass Hersteller von Videosicherheitssystemen und KI-Entwickler schnell skalierbare und differenzierte Produkte erstellen können.

Unterhaltungselektronik

In Konsumgüter wird maschinelles Lernen implementiert, um Autonomie, Benutzerinteraktion und Situationsbewusstsein zu verbessern. Zu herkömmlichen Anwendungen wie DSLR-Kameras, Druckern und Videokonferenzen gesellen sich inzwischen kameragestützte Roboter und Drohnen, TV-Geräte, Virtual-Reality-Headsets und intelligente Haushaltsgeräte. AMD bietet hochauflösende MIPI-Schnittstellen in Kombination mit maschinellem Lernen, Videokompression und einer Vielzahl von AV-Schnittstellen, um anpassbare, kostengünstige Single-Chip-Lösungen zu erzielen. Dieser hohe Integrationsgrad ermöglicht in der Unterhaltungselektronik die nächste Welle immersiver Video- und Bildverarbeitungsprodukte mit immer höherer Autonomie und anspruchsvoller Analytik.

Luft- und Raumfahrt sowie Verteidigung

Mit mehr als 30 Jahren Erfahrung und Support bietet AMD das umfangreichste Produktportfolio für Fortschritte der nächsten Generation bei Boden-, Luft- und Raumfahrtsystemen. Zynq™ UltraScale+™ MPSoC-Chips in kommerzieller und Defense-Grade-Qualität erfüllen die Anforderungen an MIPI-Sensorbildverarbeitung und -Konnektivität. Dafür stehen verschiedene Plattformen zur Verfügung, darunter die UAV- und die Robotik-Plattform, die auf dem ZU7EV-Chip aufbaut und duale 4Kp60 MIPI-Konnektivität in einer softwareprogrammierbaren Plattform unterstützt.

Rundfunk und professionelle A/V-Technik

Gleich welche Anwendung, ob Konferenzen und Zusammenarbeit, digitales Kino oder traditioneller Rundfunk, MIPI ermöglicht die Integration der neuesten Sensortechnologie in Anwendungen für Rundfunk und professionelle Videoaufzeichnungen. MIPI IP ermöglicht in Kombination mit Any-to-Any-Medienkonnektivität, einer Video-Codec-Einheit (VCU) und 8K-fähigen Videoverarbeitungselementen die neuesten Entwicklungen bei Anwendungen wie intelligente digitale Beschilderung, 4K-UHD-Übertragung, kollaborativem maschinellen Lernen und Live-Streaming in hoher Qualität mit niedriger Bitrate.

Evaluierungskits

AMD bietet leistungsstarke, energiesparende MIPI-basierte Lösungen für die Erfassung von Kamerasensoren und Displays an, die die Protokolle D-PHY, CSI-2 und DSI unterstützen.

Verfügbare Plattformen

Das SP701 Evaluierungskit ist mit dem in seiner Klasse leistungsstärksten Spartan7 FPGA ausgestattet und wurde für Anwendungen entwickelt, die eine Sensorfusion erfordern, wie industrielle Netzwerke, Embedded Vision und Automotive. Das SP701 verfügt über Videoschnittstellen wie MIPI CSI, DSI und HDMI. Außerdem bietet es eine hohe E/A-Verfügbarkeit und E/A-Erweiterungsfähigkeit über Pmods- und FMC-Steckverbinder und ist damit die größte IP-Entwicklungsfläche für Spartan 7 FPGA-Benutzer.

Mit dem ZCU102 Evaluationskit können Entwickler Designs für Automobil-, Industrie-, Video- und Kommunikationsanwendungen konzipieren. Dieses Kit enthält ein AMD Zynq™ UltraScale+™ MPSoC mit Quad-Core Arm® Cortex®-A53, Dual-Core Cortex-R5F Echtzeitprozessoren und einen Mali™-400 MP2 Grafikprozessor, der auf einer programmierbaren 16-nm-FinFET+-Logikstruktur von AMD basiert. Das ZCU102 unterstützt alle wichtigen Peripheriegeräte und Schnittstellen und ermöglicht so die Entwicklung für eine Vielzahl von Anwendungen.

Das AMD VCK190 ist das erste Evaluierungskit der Versal™ AI Core-Serie, mit dem Entwickler Lösungen mit KI- und DSP-Engines entwickeln können, die im Vergleich zu aktuellen CPUs der Serverklasse eine über 100-fache Rechnerleistung liefern können. Mit einer Vielzahl von Konnektivitätsoptionen und standardisierten Entwicklungsabläufen bietet das adaptive Versal AI Core-Serie VC1902 SoC den höchsten KI-Inferenz- und Signalverarbeitungsdurchsatz des Portfolios für Cloud-, Netzwerk- und Edge-Anwendungen.

Das VEK280 Evaluationskit ist eine neue Evaluierungsplattform, die auf dem VE2802 Gerät der AMD Versal™ AI Edge-Serie basiert. Die VEK280 Platine richtet sich an AIE-ML-Anwendungen mit erhöhter Rechnerleistung, geringerer Latenz und höherer Integrationsstufe, die durch das Versal AI Edge-Serie Gerät ermöglicht wird. Die Versal AI Edge-Serie ist ein adaptives SoC, mit dem Entwickler ihre Sensorfusion und KI-Algorithmen schnell entwickeln und zugleich ein skalierbares Geräteportfolio für unterschiedliche Performance- und Leistungsprofile von der Edge bis zum Endpunkt einsetzen können. Als Evaluierungsplattform liegt der Hauptschwerpunkt der VEK280 Platine darin, die Evaluierung und Entwicklung von Anwendungen auf Basis der Versal AI Edge-Serie zu ermöglichen. Die VEK280 Platine ist nicht für den Einsatz in der Serienproduktion vorgesehen und erfordert keine vollständige Zuverlässigkeit und Produktionsqualifikation.

Das VEK385 Evaluationskit ist mit dem adaptiven SoC der AMD Versal™ AI Edge-Serie der 2. Generation ausgestattet. Dieser bietet End-to-End-Beschleunigung für KI-gestützte Embedded-Systeme – und das alles auf einem einzigen Chip mit verbesserten Sicherheits- und Schutzfunktionen. Das Kit enthält eine breite Palette von Konnektivitätsoptionen, Entwicklungstools und Beispieldesigns, um die Prototypenerstellung in einer Vielzahl von Embedded-Märkten zu beschleunigen, einschließlich solcher mit hochsicheren, hochzuverlässigen, langlebigen und sicherheitskritischen Anwendungen. Das VEK385 Evaluationsboard ist nicht für den Einsatz in der Serienproduktion vorgesehen und erfordert keine vollständige Zuverlässigkeit und Produktionsqualifikation. Hinweis: Das VEK385 Evaluationskit wird auch für Evaluierungen mit der Versal Prime-Serie der 2. Generation empfohlen.

Erste Schritte

Beschreibung Chipunterstützung
Anwendungsbeispiel Spartan™ 7 FPGA SP701
Dieses Beispiel zeigt eine CSI-2 Subsystem-IP mit einem PCAM-Kameramodul (Digilent), d. h. einer beliebten, von MIPI CSI-Kameramodulen verwendeten Schnittstelle, und eine DSI Subsystem-IP mit Display. Beide werden von einem MicroBlaze™ Soft-Prozessor gesteuert, und die gesamte IP ist in die Vivado™ Design Suite integriert. D-PHY wird im SP701-Evaluierungskit mit passiven Komponenten implementiert.
AMD Spartan 7 FPGA
Anwendungsbeispiel Zynq UltraScale+ MPSoC ZCU102 und adaptives Versal SoC VCK190
Dieses Design demonstriert die Verwendung der Subsysteme MIPI CSI-2 RX (dekodiert und verarbeitet Videodaten) und MIPI DSI TX auf der Platine mit Zynq™ UltraScale+™ ZCU102 oder der Platine mit adaptivem Versal™ SoC VCK190. Das System empfängt Bilder, die vom IMX274-Bildsensor erfasst werden. Verarbeitete Bilder werden dann entweder auf einem HDMI-Monitor oder einem MIPI DSI-Display angezeigt.
AMD Zynq UltraScale+ MPSoC
Adaptives AMD Versal SoC

Ressourcen

MIPI RX C-PHY/D-PHY Produkthandbuch (PG435)

Der AMD MIPI RX C-PHY/D-PHY Kern wurde für den Empfang von Video- oder Pixeldaten von einem Sensor oder Prozessor entwickelt. Der Kern wird als physikalische Schicht für Protokolle höherer Ebene verwendet, wie die MIPI-Kameraschnittstelle (Mobile Industry Processor Interface) (CSI-2) und die Display Serial Interface (DSI).

MIPI TX C-PHY/D-PHY Produkthandbuch (PG436)

Der MIPI TX C-PHY/D-PHY Kern ist zum Senden von Video- oder Pixeldaten für Kamera- und Anzeigeschnittstellen bestimmt. Der Kern wird als physikalische Schicht für Protokolle höherer Ebene verwendet, wie die MIPI-Kameraschnittstelle (Mobile Industry Processor Interface) (CSI-2) und die Display Serial Interface (DSI).

Immer informiert bleiben

Melden Sie sich für die E-Mail-Liste an, um die neuesten Nachrichten und Meldungen zu adaptiven SoCs and FPGAs zu erhalten.