Ampliar imagem
Ampliar imagem

Detecção e rastreamento de objetos com sensores baseados em visão de eventos

A detecção baseada em visão de eventos (EVB) oferece velocidades de detecção aceleradas, operação aprimorada em condições de iluminação imprevisíveis e demandas de comunicação reduzidas em comparação com sensores baseados em frames.¹ Este aplicativo apresenta um sensor de EVB integrado via MIPI para o kit inicial AMD Kria™ KV260 Vision AI, executando detecção e rastreamento de objetos para aceleração simplificada e completa por pipeline. O aplicativo inclui um projeto de referência do GitHub, permitindo que os clientes o personalizem para atender às necessidades específicas.

Last Updated: Jul 23, 2024
AMD Tool Version: 2022.2

Teste grátis

Contact LogicTronix

Características do produto

Este aplicativo do kit inicial Kria KV260 Vision AI fornece etapas fáceis de criação para interface de câmera de eventos e inferência de ML em fluxos de dados de eventos. Ele também tem uma página do GitHub que permite modificar o pipeline para criar seus próprios aplicativos personalizados.

Hardware necessário

Kit de instalação Kria™ KV260 Vision AI

Acessórios recomendados:

Pacote de acessórios básicos Kria KV260

Fonte de alimentação e adaptador, cabo Ethernet, acessórios de cabo USB e monitor DP ou HDMI™.

Visualizar produto

Kit inicial PROPHESEE Metavision®

Sensor de visão baseada em eventos de HD em pilha criado em colaboração entre a Sony® e a PROPHESEE.

Visualizar produto

Informações do parceiro

LogicTronix Technologies

A LogicTronix é uma empresa de aceleração de design e aprendizado de máquina de FPGA e é parceira de computação adaptativa (ACP) da AMD. Ela oferece soluções de "IA de visão na borda", núcleos IP e serviços de projeto baseados em FPGAs da AMD, SoCs adaptativos e tecnologias com foco em cidades inteligentes, vigilância, indústria 4.0, aplicativos médicos e automotivos. A LogicTronix fornece uma gama diversificada de núcleos IP direcionados para visão computacional, aprendizado de máquina e hash criptográficas. Se tiver dúvidas sobre soluções de IA de visão na borda, núcleos IP e serviços de projeto, visite a página de parceiros de ACP da LogicTronix.

Saiba mais

PROPHESEE

A PROPHESEE é a inventora dos sistemas de visão neuromórfica mais avançados do mundo.¹ A empresa desenvolveu uma abordagem inovadora de visão baseada em eventos para visão mecânica. Essa nova categoria de visão permite reduções significativas de requisitos de potência, latência e processamento de dados¹ para revelar o que até agora era invisível aos sensores tradicionais baseados em frames. Os sensores e algoritmos Metavision patenteados da PROPHESEE simulam como o olho e o cérebro humano trabalham para melhorar drasticamente a eficiência em áreas como veículos autônomos, automação industrial, IoT, dispositivos móveis e AR/VR. A PROPHESEE está sediada em Paris, com escritórios em Grenoble, Xangai, Tóquio e Vale do Silício. 

Saiba mais

white pearl gradient medium color divider

Suporte e recursos

Recursos

Kria SOM SmartCam com Raspberry Pi Resumo do produto: Kit inicial PROPHESEE Metavision com Kit inicial AMD Kria KV260 Tutorial de treinamento de ML da PROPHESEE com a rede Yolov8 para dados de eventos

Perguntas frequentes

Cada pixel informa quando detecta uma mudança relativa na intensidade de iluminação que está acima ou abaixo de uma porcentagem definida da intensidade anterior. Em vez de capturar imagens em um intervalo de tempo fixo, a câmera de eventos detecta as alterações no brilho em um nível por pixel de forma assíncrona e cria fluxos de dados de eventos. Saiba mais sobre como funciona a visão de eventos aqui.

Conjuntos de dados de câmeras de eventos são fornecidos por várias organizações. Acesse a página do conjunto de dados da PROPHESEE ou vá para as páginas de conjunto de dados DSEC ou conjunto de dados eTraM. Se você tiver uma câmera de eventos, poderá capturar e criar um conjunto de dados personalizado com base nos fluxos de dados.

Se a câmera de eventos estiver disponível com uma interface MIPI, o exemplo de projeto Kria SOM SmartCam com Raspberry Pi pode fornecer orientação geral sobre a criação de projetos com AMD Vivado e AMD Vitis. Como a câmera de eventos gera dados de eventos de forma diferente de uma câmera de frames baseada em imagens, o pipeline de IP do Vivado consistirá em um pipeline MIPI-DMA-PS (DDR), mas não exige núcleos IP de correção de cor, gama e demosaic entre eles. No caso de uma câmera de eventos baseada em USB, você pode configurar o driver do Linux® necessário para a câmera de eventos baseada em USB e começar a capturar e trabalhar com a câmera. Este é um link do GitHub para um projeto de aplicativo. Para aumentar a personalização, clique no botão Entrar em contato com a LogicTronix, acima.

Uma câmera de eventos é acionada por um evento. Diferentemente de uma câmera de imagem RGB, ela gera fluxos de dados quando há movimento na região de foco ou de captura. Portanto, os requisitos gerais de largura de banda de processamento serão menores do que para dados e câmera RGB. Uma câmera de eventos também pode funcionar a velocidades mais elevadas do que uma câmera de imagem tradicional.¹ Mais informações sobre as vantagens das câmeras baseadas em eventos e visão estão disponíveis aqui.

Este tutorial mostra a execução de treinamento e inferência de ML baseados em eventos semelhantes às câmeras baseadas em imagens RGB. Você também pode visitar a página de tutorial do Yolo da PROPHESEE para treinamento/inferência de uma rede Yolo para dados baseados em eventos. Outros tutoriais para treinamento e inferência de algoritmos de ML ou redes sobre dados de câmeras de eventos também estão disponíveis.

Notas de rodapé

Todas as declarações sobre benefícios de desempenho e/ou economia de tempo são fornecidas pela PROPHESEE e/ou LogicTronix Technologies e não foram testadas ou comprovadas de forma independente pela AMD. Os benefícios de desempenho e a economia de tempo são afetados por diversas variáveis. Os resultados neste documento são específicos para a PROPHESEE e/ou a LogicTronix Technologies e podem não ser padrão. GD-181

_{Certain AMD technologies may require third-party enablement or activation. Supported features may vary by operating system. Please confirm with system manufacturer for specific features. No technology or product can be completely secure.}

Data Center

Sistemas de negócios

Pessoais e para gamers

Embedded

Recursos

Aceleradores de GPU

Aceleradores adaptativos

Aceleradores DPU

Adaptadores de ethernet

Estações de trabalho

Desktops

Notebooks

Recursos

FPGAs e SoCs adaptativos

Sistemas em módulos (SOMs)

Tecnologias

Recursos do desenvolvedor

Kits e Placas de avaliação

Ferramentas para processador

Ferramentas para placas de vídeo e Apps

FPGA e Ferramentas SoC adaptativas

Propriedade intelectual e Apps

Ferramentas de acelerador de GPU e Apps

Visão Geral

Comunicados à imprensa

Para borda e endpoints

Para desenvolvedores

Setores

Setores

Setores

Setores

Industrias

Cargas de trabalho

Jogos

Sistemas

Tecnologias

Recursos

Processadores EPYC

Placas de vídeo Radeon e Chipsets AMD

FPGA e SoCs adaptativos

Aceleradores Alveo e SOMs Kria

Processadores Ryzen

Adaptadores de ethernet

Visão Geral

Processadores

Aceleradores

SOMs, FPGAs e SoCs, adaptativos

Placas de vídeo

Visão Geral

Recursos por produto

Recursos por tipo

Sobre os nossos parceiros

Suporte global da AMD

Processadores e Placas de vídeo

Aceleradores

FPGA e SoCs adaptativos

Jogos e computação pessoal

Computação incorporada e adaptativa

Get AMD Fan Gear

Buy Direct From AMD

Buy Direct From AMD

Buy Direct From AMD

Buy Direct From AMD

Buy Direct From AMD

Detecção e rastreamento de objetos com sensores baseados em visão de eventos

Características do produto

Hardware necessário

Acessórios recomendados:

Informações do parceiro

Suporte e recursos

Recursos

Perguntas frequentes

Como funciona uma câmera de eventos?

Como posso adquirir conjuntos de dados de câmeras de eventos?

Como faço projetos com o AMD Vivado™ Design Suite ou a plataforma de software unificada AMD Vitis™ para uma câmera de eventos?

Quais são as vantagens de uma câmera de eventos em comparação com uma câmera RGB típica?

Como faço para executar um modelo de aprendizado de máquina usando uma câmera de eventos?