Übersicht

Integrierte Bildverarbeitungssysteme sind die Eckpfeiler vieler fortschrittlicher Funktionen in modernen Anwendungen, u. a. bei Augmented Vision, im Automobilbereich, bei maschineller Bildverarbeitung (Machine Vision), in der Medizin und bei Kameras für Smart-City-Systeme. Moderne Bildverarbeitungssysteme erfordern eine hohe Auflösung, hohe Bildraten und eine zunehmende Pixeltiefe, was erhebliche Herausforderungen bei Datenrate und Speicherbandbreite mit sich bringt. AMD bietet sowohl kostenoptimierte als auch leistungsstarke MIPI-basierte Lösungen für die Erfassung von Kamerasensoren und Displays an, die die Protokolle D-PHY, C-PHY, CSI-2 und DSI unterstützen. Darüber hinaus bietet AMD eine breite Palette an Bildsignalverarbeitungs-IP für Farbkonvertierung, Korrektur, Abgleich und weitere Arbeitsschritte, die von vielen Bildsensoranwendungen benötigt werden. Durch die Flexibilität von AMD Chips können die speziellen Anforderungen bei jedem Design erfüllt werden, und Entwickler sind in der Lage, sowohl diesen Bedürfnissen gerecht zu werden als auch ihre Lösungen zu differenzieren.

AMD MIPI IP-Kerne

CSI-2

Subsysteme für Empfänger- und Sender-Controller

  • Unterstützung von 1 bis 8 Lanes für RX
  • Unterstützung von 1 bis 4 PPI-Lanes
  • Unterstützung mehrerer Datentypen (RAW, RGB, YUV)
  • AXI IIC-Unterstützung für CCI-Schnittstellen
  • Filterung basierend auf VC-IDs (Virtual Channel)
  • Ausgabe mit Ein-, Zwei- und Vierfach-Pixel-Unterstützung
  • AXI4-konforme Schnittstelle mit Unterstützung für Imager und Prozessoren mit 4K-Auflösung
  • Geringe Anzahl an Ressourcen

DSI

Subsystem für Sender-Controller

  • Unterstützung von 1 bis 4 Lanes
  • Unterstützt alle obligatorischen Datentypen
  • Unterstützung von programmierbarer EoTp-Generierung (End of Transmission Packet) für virtuelle Kanäle (1 bis 4)
  • Energiesparende Generierung im LP-Modus (Low Power) und ULP-Modus (Ultra Low Power)
  • Interoperabilität über mehrere Lanes
  • ECC-Generierung für Paket-Header
  • CRC-Generierung für Datenbytes (kann optional sein)
  • Pixel-Byte-Konvertierung basierend auf Datenformat
  • AXI4-Lite-Schnittstelle für Zugriff auf weitere Register
  • AXI4-konform für Eingang-Videostreams 

AMD Chips unterstützen mehrere MIPI-Konfigurationen, von einzelnen bis zu mehreren Links, verschiedene Datenraten und Datentypen und können in einem Chip Empfangs- und Sendedatenpfade mischen. Zudem sind AMD Chips erweiterbar und sind dabei nur durch die Anzahl der E/As begrenzt. C-PHY benötigt dedizierte Pinbelegungen für drei unterschiedliche Spannungspegel und kann auf bis zu drei Lanes erweitert werden. Um Lösungen weiter zu beschleunigen oder zu optimieren, ermöglicht die programmierbare Logik die Integration der gesamten ISP-Kette (Image Signal Processing), bleibt dabei jedoch skalierbar und im Feld Upgrade-fähig, wenn ISP-Algorithmen besser werden.

MIPI-Unterstützung für verschiedene AMD Produkte

Cost-Optimized Portfolio High-Performance-Chips
  • Versal™ Chips der zweiten Generation unterstützen physische C-PHY-Schnittstellen mit höherer Bandbreite
    • Unterstützung für CSI-2- und DSI-Protokolle
    • Verringerte E/A-Anzahl für höhere Bandbreite mit dedizierter Pinbelegung
    • Bandbreite bis zu 4,5 GS/s (~10,28 Gb/s)
  • High-Performance-Chips verfügen über integrierte Unterstützung für die physische Schicht D-PHY
    • Zynq UltraScale+ MPSoC-Chips haben Datenraten von bis zu 2500 Mb/s pro Lane mit Bildauflösung von bis zu 16 MP
    • Adaptive Versal SoCs haben Datenraten von bis zu 3200 Mb/s pro Lane mit Bildauflösung von bis zu 32 MP
    • Adaptive Versal SoCs der zweiten Generation unterstützen D-PHY-Datenraten bis zu 4,5 Gb/s
  • Diese Chips verfügen außerdem über dedizierte Engines für Echtzeitverarbeitung, Grafikverarbeitung, Videokodierung und -dekodierung, Wellenform, Paketverarbeitung und maschinelles Lernen/künstliche Intelligenz
  • Vorgestellte Geräte:

Anwendungen

AMD bietet MIPI-basierte Lösungen für Erfassung und Anzeige von Kamerasensoren über kostenoptimierte High-Performance-Chips, die Edge-Anwendungen in einer Vielzahl von Märkten ermöglichen.

Automobilbranche

Das AMD Portfolio für die Automobilbranche bietet Lösungen für die Herausforderungen der Branche in den Bereichen fortschrittliche Fahrerassistenzsysteme (ADAS), automatisiertes Fahren, Fahrzeug-Infotainment und Fahrerinformationen sowie Elektrifizierung und Vernetzung. Mit unserer anpassbaren Architektur können Anwender Berechnungen mit niedriger Latenz realisieren und eine Vielzahl von Schnittstellen – einschließlich MIPI – verbinden. Wenn Erweiterungen des MIPI-Protokolls in der Toolchain veröffentlicht werden, kann sich der flexible Chip von AMD anpassen, sodass Anwender ihre Systeme mit den neuesten Schnittstellen für die schnellste mögliche Datenübertragung entwickeln können. AMD führt C-PHY-Unterstützung für MIPI-Anwendungen mit verringerter E/A-Anzahl und höherer Bandbreite ein.

Industrie

Smart Citys und ein intelligenter Einzelhandel erfordern eine komplexe Mischung von Rechenanforderungen, die von der Cloud bis zur Edge reichen. Die AMD Lösungen für industrielle Bildverarbeitung bieten Kamera- und Bildverarbeitungsplattformen mit optimaler Performance, Leistung und Kosten bei gleichzeitig geringer Latenz und hoher Zuverlässigkeit. Die AMD Angebote umfassen heterogene integrierte Verarbeitung, E/A-Flexibilität, hardwarebasierte deterministische Steuerung und umfassende Lösungen, die mit den rauen Umgebungen über die in der Industrie üblichen Lebenszyklen zurechtkommen. Die Vitis™ Unified Software Platform und die Vitis KI-Entwicklungsumgebung vereinfachen die Entwicklung beschleunigter Anwendungen und AI Inference über verschiedene AMD Hardwareplattformen, sodass Hersteller von Videosicherheitssystemen und KI-Entwickler schnell skalierbare und differenzierte Produkte erstellen können.

Unterhaltungselektronik

In Konsumgüter wird maschinelles Lernen implementiert, um Autonomie, Benutzerinteraktion und Situationsbewusstsein zu verbessern. Zu herkömmlichen Anwendungen wie DSLR-Kameras, Druckern und Videokonferenzen gesellen sich inzwischen kameragestützte Roboter und Drohnen, TV-Geräte, Virtual-Reality-Headsets und intelligente Haushaltsgeräte. AMD bietet hochauflösende MIPI-Schnittstellen in Kombination mit maschinellem Lernen, Videokompression und einer Vielzahl von AV-Schnittstellen, um anpassbare, kostengünstige Single-Chip-Lösungen zu erzielen. Dieser hohe Integrationsgrad ermöglicht in der Unterhaltungselektronik die nächste Welle immersiver Video- und Bildverarbeitungsprodukte mit immer höherer Autonomie und anspruchsvoller Analytik.

Luft- und Raumfahrt sowie Verteidigung

Mit mehr als 30 Jahren Erfahrung und Support bietet AMD das umfangreichste Produktportfolio für Fortschritte der nächsten Generation bei Boden-, Luft- und Raumfahrtsystemen. Zynq™ UltraScale+™ MPSoC-Chips in kommerzieller und Defense-Grade-Qualität erfüllen die Anforderungen an MIPI-Sensorbildverarbeitung und -Konnektivität. Dafür stehen verschiedene Plattformen zur Verfügung, darunter die UAV- und die Robotik-Plattform, die auf dem ZU7EV-Chip aufbaut und duale 4Kp60 MIPI-Konnektivität in einer softwareprogrammierbaren Plattform unterstützt.

Rundfunk und professionelle A/V-Technik

Gleich welche Anwendung, ob Konferenzen und Zusammenarbeit, digitales Kino oder traditioneller Rundfunk, MIPI ermöglicht die Integration der neuesten Sensortechnologie in Anwendungen für Rundfunk und professionelle Videoaufzeichnungen. MIPI IP ermöglicht in Kombination mit Any-to-Any-Medienkonnektivität, einer Video-Codec-Einheit (VCU) und 8K-fähigen Videoverarbeitungselementen die neuesten Entwicklungen bei Anwendungen wie intelligente digitale Beschilderung, 4K-UHD-Übertragung, kollaborativem maschinellen Lernen und Live-Streaming in hoher Qualität mit niedriger Bitrate.

Evaluierungskits

AMD bietet leistungsstarke, energiesparende MIPI-basierte Lösungen für die Erfassung von Kamerasensoren und Displays an, die die Protokolle D-PHY, CSI-2 und DSI unterstützen.

 

Eine breite Palette von IoT-Anwendungen in Industrie und Gesundheitswesen kann die MIPI-Unterstützung auf den Plattformen unseres Cost-optimized Portfolios nutzen. Dazu gehören bildgeführte Robotik, Sicherheitskameras, Smart Citys, intelligenter Einzelhandel, Endoskopie und maschinelle Bildverarbeitung (Machine Vision). Wenn Sie Designs mit unseren Spartan™ 7 FPGA- oder Zynq™ 7000 SoC-Familien planen, bieten diese Kits den perfekten Einstieg.

Spartan 7 SP701 Evaluierungskit

Das SP701 Evaluierungskit ist mit dem in seiner Klasse leistungsstärksten Spartan7 FPGA ausgestattet und wurde für Anwendungen entwickelt, die eine Sensorfusion erfordern, wie industrielle Netzwerke, Embedded Vision und Automotive. Das SP701 verfügt über Videoschnittstellen wie MIPI CSI, DSI und HDMI. Außerdem bietet es eine hohe E/A-Verfügbarkeit und E/A-Erweiterungsfähigkeit über Pmods- und FMC-Steckverbinder und ist damit die größte IP-Entwicklungsfläche für Spartan 7 FPGA-Benutzer.

Mit Spartan 7 XC7S100 FPGA

Systemlogikzellen (in Tausend) 102
Speicher 1.100 Kb DRAM, 4.320 Kb Block-RAM
DSP-Schichten 160
Maximale E/A-Pins 400
Zusätzliche Funktionen 8 Taktmanagement-Kacheln (1 MMCM + 1 PLL)
1 Analog-zu-Digital-Wandler (XADC)
1 Konfigurations-AES/HMC-Block

Zybo Z7: Zynq 7000 ARM/FPGA SoC-Entwicklungskit

Das Zybo Z7 von Digilent basiert auf dem Zynq 7000 Chip, in den duale Arm® Cortex®-A9 Prozessoren mit programmierbarer Logik der 7-Serie integriert sind. Das Zybo Z7 Kit bietet ein videofähiges Funktionspaket, das einen MIPI CSI-2-kompatiblen Pcam-Anschluss, HDMI-Eingang und -Ausgang, eine hohe DDR3L-Bandbreite und weitere Multimedia- und anbindbare Peripheriegeräte umfasst. Dieses Funktionspaket stellt eine kostengünstige Lösung für komplexe Embedded-Vision-Anwendungen bereit.

Mit Zynq 7000 XCZ7010 SoC oder XC7Z020 SoC

Gerät XCZ7010 XC7Z7020
Systemlogikzellen (in Tausend) 28 85
Speicher 1.024 MB DRAM
2,1 Mb Block-RAM
1.024 MB DRAM
4,9 Mb Block-RAM
DSP-Schichten 80 220
Maximale E/A-Pins 100 125
Zusätzliche Funktionen 2 Taktmanagement-Kacheln (1 MMCM + 1 PLL) 4 Taktmanagement-Kacheln (1 MMCM + 1 PLL)
1 Analog-zu-Digital-Wandler (XADC) 1 Analog-zu-Digital-Wandler (XADC)
1 AES- und SHA-Block 1 AES- und SHA-Block

Für den auf KI oder Videoverarbeitung ausgerichteten Einsatz in Industrie, medizinischer Bildgebung, Endoskopie, Edge-KI im Gesundheitswesen und weiteren Bereichen eröffnen unsere Plattformen für High-Performance-Chips Möglichkeiten für mehr Performance und Funktionen.  Wenn Sie für Ihre Anwendung Videokodierung oder maschinelles Lernen benötigen, dann schauen Sie sich unsere High-Performance-Linie an, die auf den Zynq UltraScale+™ MPSoCs und adaptiven Versal™ SoCs basiert.

Zynq UltraScale+ MPSoC ZCU104 Evaluierungskit

Mit dem ZCU104 Evaluierungskit können Entwickler Designs für Embedded-Vision-Anwendungen wie Überwachung, fortschrittliche Fahrerassistenzsysteme (ADAS), Machine Vision, Augmented Reality (AR), Drohnen und medizinische Bildgebung starten. Dieses Kit enthält einen Zynq UltraScale+MPSoC EV-Chip mit integriertem Video-Codec und unterstützt viele gängige Peripheriegeräte und Schnittstellen für Embedded-Vision-Anwendungen. Der im Lieferumfang enthaltene ZU7EV-Chip ist mit einem Quad-Core Arm Cortex-A53 Prozessor, Dual-Core Cortex-R5F Echtzeitprozessor, Mali™-400 MP2 Grafikprozessor, 4 KP60-fähigem H.264/H.265 Video-Codec und programmierbarer 16-nm-FinFET+-Logik ausgestattet.

Mit Zynq UltraScale+ XCZU7EV-2FFVC1156 MPSoC

Systemlogikzellen (in Tausend) 504
Speicher 38 Mb
DSP-Schichten 1.728
Video-Codec-Einheit
1
Maximale E/A-Pins
464

 

Ultra96-V2 Zynq UltraScale+ ZU3EG

Ultra96-V2 ist eine Arm-basierte Entwicklungsplatine, die auf dem Zynq UltraScale+ MPSoC aufbaut. Ultra96-V2 ist für die in Handel und Industrie geforderten Temperaturbereiche erhältlich und wurde mit einem zertifizierten Funkmodul von Microchip entwickelt. Die im Lieferumfang enthaltenen Infineon PMICs ermöglichen eine zusätzliche Leistungssteuerung und Überwachung. Ingenieure stellen die Verbindung zu Ultra96-V2 über einen Webserver mithilfe von integrierten Wireless-Access-Point-Funktionen her, oder sie verwenden die bereitgestellte Linux Matchbox Windows-Umgebung, die auf dem integrierten Mini DisplayPort™ Videoausgang angezeigt werden kann. Zusätzlich werden mehrere Anwendungsbeispiele und integrierte Entwicklungsoptionen bereitgestellt.


Mit Zynq UltraScale+ MPSoC ZU3EG A484

Systemlogikzellen (in Tausend) 154
Speicher 7,6 Mb
DSP-Schichten 360
Video-Codec-Einheit
Keine
Maximale E/A-Pins
252

 

Versal AI Core-Serie VCK190 Evaluierungskit

Das VCK190 Kit ist das erste Evaluierungskit der Versal AI Core-Serie, mit dem Entwickler Lösungen mit KI- und DSP-Engines entwickeln können, die im Vergleich zu heutigen CPUs der Serverklasse eine über 100-fache Rechnerleistung liefern können.
Das VCK190 Kit enthält eine Vielzahl von Konnektivitätsoptionen und standardisierten Entwicklungsabläufen, es verfügt über den Versal AI Core-Serie VC1902 Chip und bietet damit den höchsten AI-Inference- und Signalverarbeitungsdurchsatz des Portfolios.

Mit dem adaptiven Versal VC1902 SoC

KI-Engines 400
DSP-Engines 1.968
Systemlogikzellen (in Tausend) 1.968
LUTs 899.840
Anwendungsverarbeitungseinheit Dual-Core Arm Cortex-A72
Echtzeitverarbeitungseinheit Dual-Core Arm Cortex-R5F
Maximale E/A-Pins 770
Programmierbare NoC-Anschlüsse 28
Integrierte Speicher-Controller 4

AMD bietet auch eine Plattform an, die speziell für die extremen Anforderungen an Vision- und Sensorverarbeitung bei der Entwicklung unbemannter Luftfahrzeuge (Unmanned Aerial Vehicle, UAV) und Robotik entwickelt wurde.

Autonome Steuerung und Robotik

Die UAV- and Robotik-Plattform (URP) erfüllt die typischen Verarbeitungsanforderungen, die bei der Entwicklung von UAV- und Robotikanwendungen auftreten. Die Plattform basiert auf einem Zynq UltraScale+ MPSoC und bietet ein breites Spektrum an Verarbeitungsfunktionen. Auf der Platine mit kleiner Bauform sind On-Board-Sensoren, Software und FPGA-Logik integriert. Mit ihren Motorsteuerungen, Positionssensoren, Schnittstellen zur Hinderniserkennung und Kommunikationsressourcen kann die URP für viele Anwendungen eingesetzt werden.

Hauptfunktionen und Vorteile

  • Vollständig integrierte High-Performance-Navigationssensoren
  • Mehrere Kameras und Sensorfusion
  • Konnektivität mit hoher Bandbreite
  • Integriertes Hosting von Autopilot auf Echtzeit-Prozessorkernen
  • Zuverlässige Hochgeschwindigkeitslösung für Motorsteuerung
  • High-Performance-Infrastruktur für Videoverarbeitung
  • High-Level-Synthese unterstützt schnelle Entwicklung und Implementierung von Algorithmen
  • H.265 Codec-VCU unterstützt 4K60 FPS
  • Abmessungen: 135 mm x 68,4 mm x 10 mm
  • Integrierte hocheffiziente Netzteile
  • Unterstützung für NVMe SSD, PCIe®, Gigabit Ethernet, DisplayPort, HDMI
  • Erweiterte Debugging-Unterstützung
  • Temperaturbereich für industriellen Einsatz (-40°C bis +85°C)

Umfang

  • Zwei 4K-Kameraschnittstellen
  • DDR4-High-Performance-Speicher 64 Bit + 8 Bit ECC
  • Navigationssensoren
  • Positionssensoren
  • Vier Schnittstellen für Bewegungssteuerung
  • Unterstützung für NVMe SSD, PCIe, Ethernet, DisplayPort, HDMI
Systemlogikzellen (in Tausend) 504
Speicher 38 Kb
DSP-Schichten 1,728
Video-Codec-Einheit 1
Maximale E/A-Pins 464

Erste Schritte

Beschreibung Geräteunterstützung
Anwendungsbeispiel Spartan™ 7 FPGA SP701
Dieses Beispiel zeigt eine CSI-2 Subsystem-IP mit einem PCAM-Kameramodul (Digilent), d. h. einer beliebten, von MIPI CSI-Kameramodulen verwendeten Schnittstelle, und eine DSI Subsystem-IP mit Display. Beide werden von einem MicroBlaze™ Soft-Prozessor gesteuert, und die gesamte IP ist in die Vivado™ Design Suite integriert. D-PHY wird im SP701-Evaluierungskit mit passiven Komponenten implementiert.
AMD Spartan 7 FPGA
Anwendungsbeispiel Zynq UltraScale+ MPSoC ZCU102 und adaptives Versal SoC VCK190
Dieses Design demonstriert die Verwendung der Subsysteme MIPI CSI-2 RX (dekodiert und verarbeitet Videodaten) und MIPI DSI TX auf der Platine mit Zynq™ UltraScale+™ ZCU102 oder der Platine mit adaptivem Versal™ SoC VCK190. Das System empfängt Bilder, die vom IMX274-Bildsensor erfasst werden. Verarbeitete Bilder werden dann entweder auf einem HDMI-Monitor oder einem MIPI DSI-Display angezeigt.
AMD Zynq UltraScale+ MPSoC
Adaptives AMD Versal SoC

Ressourcen

Immer informiert bleiben

Melden Sie sich für die E-Mail-Liste an, um die neuesten Nachrichten und Meldungen zu adaptiven SoCs and FPGAs zu erhalten.