Visão geral

Os sistemas de visão incorporados são a base de muitos recursos avançados em aplicações modernas, incluindo câmeras de visão aumentada, automotivas, de visão computacional, médicas e de cidades inteligentes. Os sistemas de visão modernos exigem alta resolução, altas taxas de frames e aumento da profundidade de pixels, apresentando desafios significativos de taxa de dados e largura de banda de memória. A AMD oferece soluções econômicas e de alto desempenho baseadas na MIPI para captura e exibição de sensores de câmera e compatíveis com os protocolos D-PHY, C-PHY, CSI-2 e DSI. Também oferece uma ampla gama de IP de processamento de sinal de imagem para conversão de cores, correção, balanceamento e outras operações exigidas por muitas aplicações de sensores de imagem. A flexibilidade dos dispositivos AMD ajuda a atender aos requisitos exclusivos de cada projeto e permite que os desenvolvedores atendam a essas necessidades, bem como diferenciem suas soluções.

Núcleos de IP da MIPI da AMD

CSI-2

Subsistemas do controlador do transmissor e do receptor

  • Suporte de 1-8 faixas para RX
  • Suporte de 1-4 faixas PPI
  • Suporte a vários tipos de dados (RAW, RGB, YUV)
  • Suporte AXI IIC para interfaces CCI
  • Filtragem baseada em IDs de canal virtual (VC)
  • Saída com suporte a pixel único, duplo e quádruplo
  • Interface compatível com AXI4 com suporte para processadores e geradores de imagens com resolução 4K
  • Baixa contagem de recursos

DSI

Subsistema do controlador do transmissor

  • Suporte de 1-4 faixas
  • Suporte para todos os tipos de dados obrigatórios
  • Suporte para geração de pacote de fim de transmissão (EoTp) programável de canal virtual (1 a 4)
  • Geração de modo de baixo consumo (LP) e ultrabaixo consumo (ULP)
  • Interoperabilidade com várias faixas
  • Geração de ECC para cabeçalhos de pacotes
  • Geração de CRC para bytes de dados (pode ser opcional)
  • Conversão de bytes de pixel com base no formato de dados
  • Interface AXI4-Lite para acessar mais registros
  • Compatível com AXI4 para transmissões de vídeo de entrada 

Os dispositivos da AMD suportam várias configurações de MIPI, de links únicos a múltiplos, diferentes taxas de dados e tipos de dados e podem combinar caminhos de dados de recepção e transmissão em um único dispositivo. Os dispositivos da AMD também são expansíveis, limitados apenas pelo número de E/S. O C-PHY exigirá pinagens dedicadas para acomodar três níveis de tensão distintos e pode ser expandido para até três faixas. Para acelerar ou simplificar ainda mais as soluções, a lógica programável permite a integração de toda a cadeia de ISP (Image Signal Processing, Processamento de sinais de imagem), permanecendo dimensionável e atualizável em campo à medida que os algoritmos de ISP são aprimorados.

Suporte a MIPI em todos os produtos da AMD

Portfólio com custo otimizado Dispositivos de alto desempenho
  • Os dispositivos Versal™ de segunda geração oferecerão suporte às interfaces físicas C-PHY de maior largura de banda
    • Suporte para protocolos CSI-2 e DSI
    • Contagem de E/S reduzida para maior largura de banda com pinagem dedicada
    • Largura de banda de até 4,5 GS/s (aproximadamente 10,28 Gb/s)
  • Os dispositivos de alto desempenho têm suporte integrado para a camada física D-PHY
    • Os dispositivos MPSoC Zynq UltraScale+ têm taxas de dados de até 2.500 Mb/s por faixa com resolução de imagem de até 16 MP
    • Os SoCs adaptativos Versal têm taxas de dados de até 3.200 Mb/s por faixa com resolução de imagem de até 32 MP
    • Os SoCs adaptativos Versal de 2ª geração oferecerão suporte a taxas de dados D-PHY de até 4,5 Gb/s
  • Esses dispositivos também têm mecanismos dedicados para processamento em tempo real, processamento gráfico, codificação e decodificação de vídeo, forma de onda, processamento de pacotes e mecanismos de aprendizado de máquina/inteligência artificial
  • Dispositivos em destaque:

Aplicações

A AMD oferece soluções baseadas em MIPI para captura e exibição de sensores de câmera por meio de dispositivos de alto desempenho e baixo custo que permitem aplicações de ponta em um amplo conjunto de mercados.

Automotivo

O portfólio automotivo da AMD resolve os desafios do setor em ADAS, direção automatizada, infoentretenimento no veículo e informações do motorista, além de eletrificação e rede. Nossa arquitetura adaptável permite que os usuários obtenham computação de baixa latência e a capacidade de conectar uma ampla variedade de interfaces, incluindo MIPI. À medida que os aprimoramentos do protocolo MIPI são lançados na cadeia de ferramentas, o chip flexível da AMD pode se adaptar, permitindo que os usuários projetem seus sistemas com as interfaces mais recentes para a transmissão de dados mais rápida possível. A AMD está introduzindo o suporte C-PHY para reduzir o número de E/S e aumentar a largura de banda das aplicações de MIPI.

Industrial

As cidades inteligentes e o varejo inteligente exigem uma combinação complexa de requisitos de computação que vão desde a nuvem até a borda. As soluções de visão industrial da AMD oferecem câmeras e plataformas de processamento de imagens com desempenho, potência e custo ideais, além de oferecer baixa latência e alta confiabilidade. As ofertas da AMD incluem processamento incorporado heterogêneo, flexibilidade de E/S, controle determinístico baseado em hardware e soluções abrangentes capazes de lidar com ambientes adversos durante os ciclos de vida industrial. A plataforma de software unificada Vitis™ e o ambiente de desenvolvimento de IA Vitis simplificam o desenvolvimento de aplicações aceleradas e a inferência de IA nas plataformas de hardware da AMD, permitindo que os fabricantes de equipamentos de segurança de vídeo e os desenvolvedores de IA criem rapidamente produtos dimensionáveis e diferenciados.

Eletrônicos de consumo

Os produtos de consumo implementam o aprendizado de máquina para melhorar a autonomia, a interação com o usuário e a consciência situacional. As aplicações tradicionais, como câmeras DSLR, impressoras e videoconferências, agora vêm com robôs e drones habilitados para câmeras, TVs, fones de ouvido de realidade virtual e aparelhos inteligentes. A AMD oferece interfaces MIPI de alta resolução, juntamente com aprendizado de máquina, compactação de vídeo e uma ampla variedade de interfaces AV para alcançar soluções adaptáveis, de baixo custo e de chip único. Esse alto nível de integração está possibilitando a próxima onda de produtos de vídeo e imagem imersivos para o consumidor, com níveis crescentes de autonomia e análise.

Aeroespacial e Defesa

Com mais de 30 anos contínuos de herança e suporte, a AMD oferece o mais amplo portfólio de produtos para possibilitar a próxima geração de avanços em sistemas terrestres, aéreos e espaciais. As variantes de nível comercial e de defesa dos dispositivos MPSoC Zynq™ UltraScale+™ atendem aos requisitos de conectividade e geração de imagens de sensores MIPI. Várias plataformas estão disponíveis, incluindo a plataforma UAV e robótica, que são construídas sobre o dispositivo ZU7EV com suporte para conectividade MIPI 4Kp60 dupla em uma plataforma programável por software.

Transmissão e Pro A/V

Seja para aplicações de conferência e colaboração, cinema digital ou transmissão tradicional, a MIPI permite a integração da mais recente tecnologia de sensores para aplicações de captura e transmissão de vídeo profissional. O IP MIPI, combinado com a conectividade de mídia todos para todos, uma VCU (Video Codec Unit, Unidade de codec de vídeo) e elementos de processamento de vídeo com capacidade para 8K, permite os mais recentes desenvolvimentos em aplicações como sinalização digital inteligente, transmissão 4K UHD, colaboração de aprendizado de máquina e transmissão ao vivo de alta qualidade e baixa taxa de bits.

Kits de avaliação

A AMD oferece soluções baseadas em MIPI de alto desempenho e baixo consumo de energia para captura e exibição de sensores de câmeras, com suporte aos protocolos D-PHY, CSI-2 e DSI.

 

Uma ampla variedade de aplicações de IoT industriais e de saúde pode aproveitar o suporte para MIPI em nossas plataformas de portfólio com custo otimizado. Isso inclui robótica orientada por visão, câmeras de segurança, cidades inteligentes, varejo inteligente, endoscopia e visão computacional. Se estiver procurando projetar com nossas famílias FPGA Spartan™ 7 ou SoC Zynq™ 7000, comece com esses kits.

Kit de avaliação SP701 do Spartan 7

O kit de avaliação SP701, equipado com a FPGA Spartan 7 de melhor desempenho por watt da categoria, foi desenvolvido para projetos que exigem fusão de sensores, como redes industriais, visão incorporada e aplicações automotivas. O SP701 apresenta interfaces de vídeo, incluindo MIPI CSI, DSI e HDMI. Ele também apresenta alta disponibilidade de E/S e capacidade de expansão de E/S via conectores Pmods e FMC, tornando-o a maior tela de desenvolvimento de IP para usuários da FPGA Spartan 7.

Com a FPGA Spartan 7 XC7S100

Células lógicas do sistema (K) 102
Memória DRAM 1.100Kb, Bloco de RAM 4.320Kb
Fatias de DSP 160
Máximo de pinos de E/S 400
Recursos adicionais 8 blocos de gerenciamento de clock (1 MMCM + 1 PLL)
1 conversor analógico-digital (XADC)
1 bloco de configuração dAES/HMC

Zybo Z7: Kit de desenvolvimento de SoC Zynq 7000 ARM/FPGA

O Zybo Z7 da Digilent foi desenvolvido com base no dispositivo Zynq 7000, integrando dois processadores Arm® Cortex®-A9 com lógica programável da Série 7. O kit do Zybo Z7 oferece um conjunto de recursos de vídeo que inclui um conector Pcam compatível com MIPI CSI-2, entrada e saída HDMI, alta largura de banda de DDR3L e outros periféricos multimídia e de conectividade. Esse conjunto de recursos fornece uma solução acessível para aplicações de visão incorporada complexas.

Apresentando o SoC Zynq 7000 XCZ7010 ou SoC XC7Z020

Dispositivo XCZ7010 XC7Z7020
Células lógicas do sistema (K) 28 85
Memória 1.024 MB de DRAM
Bloco de RAM de 2,1 Mb
1.024 MB de DRAM
Bloco de RAM de 4,9 Mb
Fatias de DSP 80 220
Máximo de pinos de E/S 100 125
Recursos adicionais 2 blocos de gerenciamento de clock (1 MMCM + 1 PLL) 4 blocos de gerenciamento de clock (1 MMCM + 1 PLL)
1 conversor analógico-digital (XADC) 1 conversor analógico-digital (XADC)
1 bloco AES e SHA 1 bloco AES e SHA

Para IA ou vídeo industrial, imagens médicas, endoscopia, IA de ponta na área da saúde e muito mais, nossas plataformas de dispositivos de alto desempenho oferecem desempenho e recursos adicionais.  Se sua aplicação tem a necessidade de codificação de vídeo ou aprendizado de máquina, confira nossa linha de alto desempenho baseada nos MPSoCs Zynq UltraScale+™ e nos SoCs adaptativos Versal™.

Kit de avaliação ZCU104 do MPSoC Zynq UltraScale+

O Kit de avaliação ZCU104 permite que os projetistas iniciem projetos para aplicações de visão incorporada, como vigilância, ADAS (Advanced Driver Assisted Systems, Sistemas avançados de assistência ao motorista), visão computacional, AR (Augmented Reality, Realidade aumentada), drones e imagens médicas. Esse kit apresenta um dispositivo EV MPSoC Zynq UltraScale+ com codec de vídeo integrado e suporta muitos periféricos e interfaces comuns para aplicações de visão incorporada. O dispositivo ZU7EV incluído é equipado com um processador Arm Cortex-A53 quad-core, processador em tempo real Cortex-R5F dual-core, unidade de processamento gráfico Mali™-400 MP2, codec de vídeo H.264/H.265 com capacidade para 4 Kp60 e lógica programável FinFET+ de 16 nm.

Apresentando o MPSoC Zynq UltraScale+ XCZU7EV-2FFVC1156

Células lógicas do sistema (K) 504
Memória 38 Mb
Fatias de DSP 1.728
Unidade de codec de vídeo
1
Máximo de pinos de E/S
464

 

Ultra96-V2 Zynq UltraScale+ ZU3EG

O Ultra96-V2 é uma placa de desenvolvimento baseada em Arm, construída em torno do MPSoC Zynq UltraScale+. Disponível em graus de temperatura comercial e industrial, o Ultra96-V2 foi projetado com um módulo de rádio certificado da Microchip. O monitoramento e o controle de energia adicionais são possíveis com os Pmics da Infineon incluídos. Os engenheiros se conectam ao Ultra96-V2 por meio de um servidor da Web usando os recursos de ponto de acesso sem fio integrado ou usam o ambiente Windows Linux Matchbox fornecido, que pode ser visualizado na saída de vídeo Mini DisplayPort™ integrada. Vários exemplos de aplicações e opções de desenvolvimento integrado também são fornecidos.


Apresentando o MPSoC Zynq UltraScale+ ZU3EG A484

Células lógicas do sistema (K) 154
Memória 7,6 Mb
Fatias de DSP 360
Unidade de codec de vídeo
Nenhum
Máximo de pinos de E/S
252

 

Kit de avaliação VCK190 para o Versal Série AI Core

O kit VCK190 é o primeiro kit de avaliação da Versal Série AI Core, permitindo que os projetistas desenvolvam soluções usando mecanismos de IA e DSP capazes de oferecer um desempenho de computação 100 vezes maior do que as CPUs com qualidade de servidor atuais.
Com uma ampla variedade de opções de conectividade e fluxos de desenvolvimento padronizados, o kit VCK190 apresenta o dispositivo Versal AI Core Série VC1902, que oferece a mais alta produtividade de processamento de sinal e inferência de IA do portfólio.

Apresentando o SoC adaptativo Versal VC1902

Mecanismos de IA 400
Mecanismos de DSP 1.968
Células lógicas do sistema (K) 1.968
LUTs 899.840
Unidade de processamento de aplicações Arm Cortex-A72 dual-core
Unidade de processamento em tempo real Arm Cortex-R5F dual-core
Máximo de pinos de E/S 770
Portas NoC programáveis 28
Controladores de memória integrados 4

A AMD também oferece uma plataforma projetada especificamente para atender aos requisitos extremos de visão e processamento de sensores de UAV (Unmanned Aerial Vehicle, Veículo aéreo não tripulado) e desenvolvimento de robótica.

Controle autônomo e robótica

A URP (UAV and Robotics Platform, Plataforma de UAV e Robótica) atende aos requisitos típicos de processamento encontrados no projeto de aplicações de UAV e robótica. Trata-se de uma plataforma baseada no MPSoC Zynq UltraScale+, que oferece uma ampla variedade de recursos de processamento. A placa de fator de forma compacto integra sensores de bordo, software e lógica de FPGA. Com suas unidades de controle de motor, sensores de posição, interfaces de detecção de obstáculos e recursos de comunicação, a URP pode ser utilizada em diversas aplicações.

Principais recursos e benefícios

  • Sensores de navegação de alto desempenho totalmente integrados
  • Fusão de várias câmeras e sensores
  • Conectividade de alta largura de banda
  • Hospedagem integrada do piloto automático em núcleos de processamento em tempo real
  • Solução confiável de controle do motor de alta velocidade
  • Infraestrutura de alto desempenho para processamento de vídeo
  • A síntese de alto nível suporta o rápido desenvolvimento e implementação de algoritmos
  • Codec de vídeo H.265 com suporte a 4K60fps
  • Dimensões: 135 mm x 68,4 mm x 10 mm
  • Fontes de alimentação integradas de alta eficiência
  • Suporte para SSD NVMe, PCIe®, Gigabit Ethernet, DisplayPort e HDMI
  • Suporte avançado à depuração
  • Temperatura industrial (-40 °C a +85 °C)

O que está incluído

  • Interfaces de câmera dupla de 4K
  • Memória DDR4 de alto desempenho de 64 bits + ECC de 8 bits
  • Sensores de navegação
  • Sensores de posição
  • Interfaces de controle de movimento quádruplo
  • Suporte para SSD NVMe, PCIe, Ethernet, DisplayPort e HDMI
Células lógicas do sistema (K) 504
Memória 38 Kb
Fatias de DSP 1.728
Unidade de codec de vídeo 1
Máximo de pinos de E/S 464

Começar

Descrição Suporte ao dispositivo
Exemplo de aplicação SP701 da FPGA Spartan™ 7
Este exemplo mostra um IP do subsistema CSI-2 com um módulo de câmera PCAM (Digilent), que é uma interface popular usada pelos módulos de câmera MIPI CSI, e um IP do subsistema DSI com um monitor. Ambos são controlados por um processador MicroBlaze™ flexível e todo o IP é integrado ao Vivado™ Design Suite. O D-PHY é implementado no Kit de avaliação SP701 usando componentes passivos.
FPGA AMD Spartan 7
Exemplo de aplicação do MPSoC ZCU102 Zynq UltraScale+ e do SoC adaptativo Versal VCK190
Esse projeto demonstra o uso dos subsistemas MIPI CSI-2 RX (decodifica e processa dados de vídeo) e MIPI DSI TX na placa Zynq™ UltraScale+™ ZCU102 ou na placa SoC adaptativo Versal™ VCK190. O sistema recebe imagens capturadas pelo sensor de imagem IMX274. Em seguida, as imagens processadas são exibidas em um monitor HDMI ou em um display MIPI DSI.
MPSoC AMD Zynq UltraScale+
SoC adaptativo AMD Versal

Recursos

Fique por dentro

Junte-se à lista de notificações de SoC adaptativo e FPGA para receber as últimas notícias e atualizações.