发布者: LogicTronix and PROPHESEE
与基于帧的传感器相比，基于事件视觉 (EVB) 的传感器能够更快感知到对象，在难以预测的光照条件下更加高效地运行，且具有更低的通信需求。¹ 此应用展示了与 AMD Kria™ KV260 视觉 AI 入门套件相集成的基于 MIPI 的 EVB 传感器，可用于执行对象检测和跟踪，实现全面优化的端到端流水线式加速。此应用包含 GitHub 参考设计，使客户能够根据自身特定需求进行自定义。
借助此 Kria KV260 视觉 AI 入门套件应用，您可通过简单的初始化步骤完成事件相机接口设置和基于事件数据流的 ML 推理。通过相应的 GitHub 页面，您能够修改相应流水线以创建属于自己的自定义应用。
每个像素点在检测到当前亮度相对于之前亮度的变化量超过或低于设定的百分比时，即会发出信号。事件相机不是以固定时间间隔捕获图像，而是异步感测每个像素的亮度变化并据此生成事件数据流。如需详细了解事件视觉的工作原理，请访问此处。
事件相机数据集由多个组织提供。请访问 PROPHESEE 数据集页面，或者前往 DSEC 数据集或 eTraM 数据集页面。如果您有事件相机，则可以采集并根据其数据流来创建自定义数据集。
如果事件相机支持 MIPI 接口，则与 Raspberry Pi 搭配使用的 Kria SOM SmartCam 设计示例可以提供有关如何创建 AMD Vivado 和 AMD Vitis 设计的一般性指导。鉴于事件相机生成事件数据的方式不同于基于图像的帧相机，因此 Vivado IP 流水线将由 MIPI-DMA-PS (DDR) 流水线组成，但中间不需要去马赛克、伽玛校正和色彩校正 IP 核。对于基于 USB 的事件相机，您可以安装必要的 Linux® 驱动程序，然后再开始使用该相机捕获和处理事件数据。通过此 GitHub 链接，可找到参考应用设计。如需进一步对设计进行自定义，请单击上面的“联系 LogicTronix”按钮。
不同于 RGB 图像相机，事件相机由事件触发，只有在聚焦区或感测区内出现变化时才生成数据流。因此，相比于 RGB 相机，事件相机在数据处理上的总体带宽要求会更低。另外，事件相机的运行速度要高于传统图像相机。1 如需进一步了解基于事件的相机和视觉系统所具有的优势，请访问此处。
本教程展示了如何进行基于事件的 ML 模型训练和推理，整个过程类似于基于图像的 RGB 相机。此外，您还可以访问 PROPHESEE Yolo 教程页面，了解如何将基于事件的数据应用于 Yolo 网络训练/推理。此外，还有其他教程介绍了如何基于事件相机数据推进 ML 算法或网络的训练和推理。
Certain AMD technologies may require third-party enablement or activation. Supported features may vary by operating system. Please confirm with system manufacturer for specific features. No technology or product can be completely secure.
