画像を拡大
画像を拡大

イベントビジョンベースセンサーを使用する物体検出と追跡

イベントビジョンベース (EVB) センサーは、フレームベースセンサーと比較して、センシング速度の向上、不安定な照明条件での性能向上、通信負荷の軽減といった利点があります。¹ このアプリケーションは、AMD Kria™ KV260 ビジョン AI スターターキットに MIPI 経由で搭載された EVB センサーを使用して物体検出と追跡を実行し、効率的なエンドツーエンドのパイプラインアクセラレーションを実現します。このアプリケーションに含まれる GitHub リファレンスデザインを利用することで、特定要件に応じたカスタムデザインを作成できます。

最終更新日: Jul 23, 2024
AMD ツールバージョン: 2022.2

無償評価

Contact LogicTronix

製品の特長

この Kria KV260 ビジョン AI スターターキットアプリケーションを利用することで、イベントカメラの接続やイベントデータストリームを用いた ML 推論を簡単に実現できます。また、パイプラインの変更を通じて独自のアプリケーション作成をサポートする GitHub ページもご利用いただけます。

必要なハードウェア

Kria™ KV260 ビジョン AI スターターキット

推奨アクセサリ:

Kria KV260 ベーシックアクセサリパック

電源とアダプター、イーサネットケーブル、USB ケーブルアクセサリ、DP/HDMI™ モニター。

製品を表示

PROPHESEE Metavision® スターターキット

Sony® と PROPHESEE が共同で開発した積層型 HD イベントベースビジョンセンサー。

製品を表示

パートナー情報

LogicTronix Technologies 社

LogicTronix 社は、FPGA 設計と機械学習の高速化を専門とする AMD のアダプティブコンピューティングパートナー (ACP) です。AMD の FPGA やアダプティブ SoC に加え、スマートシティ、監視、インダストリー 4.0、医療、オートモーティブアプリケーションに焦点を当てたテクノロジーを使用して、"ビジョンエッジ AI" ソリューション、IP コア、および設計サービスを提供しています。同社は、コンピュータービジョン、機械学習、暗号ハッシュ向けの多様な IP コアを提供しています。ビジョンエッジ AI ソリューション、IP コア、設計サービスに関するお問い合わせは、LogicTronix 社の ACP パートナーページをご覧ください。

詳細を読む

PROPHESEE 社

PROPHESEE 社は、世界最先端のニューロモーフィックビジョンシステムを開発した企業です。¹ マシンビジョンのための革新的なイベントベースのビジョンアプローチを開発しました。この新しいビジョンカテゴリでは、消費電力、レイテンシ、データ処理要件¹ を大幅に削減でき、従来のフレームベースセンサーでは今まで見えなかったものが明らかになります。PROPHESEE 社の特許技術である Metavision センサーとアルゴリズムは、人間の目と脳の仕組みを模倣しており、自動運転車、産業オートメーション、IoT、モバイル、AR/VR などの分野において処理効率を劇的に向上させることができます。パリを拠点とし、グルノーブル、上海、東京、シリコンバレーにもオフィスを構えています。 

詳細を読む

white pearl gradient medium color divider

サポートとリソース

リソース

Raspberry Pi を使用した Kria SOM SmartCam 製品概要: PROPHESEE Metavision スターターキットと AMD Kria KV260 スターターキット PROPHESEE ML トレーニングチュートリアル (イベントデータ用に Yolov8 ネットワークを使用)

よくある質問 (FAQ)

イベントカメラは、各ピクセルが前の照度と比べて一定の割合以上または以下に変化するとイベントとしてレポートします。つまり、一定の時間間隔で画像をキャプチャするのではなく、ピクセル単位で明るさの変化を個別に感知して、イベントベースでデータストリームを作成します。イベントビジョンの仕組みの詳細は、こちらをご覧ください。

複数の企業がイベントカメラのデータセットを提供しています。PROPHESEE データセット、DSEC データセット、eTraM データセットのページをご覧ください。イベントカメラを使用して、そのデータストリームに基づいてカスタムデータセットをキャプチャして作成することも可能です。

MIPI インターフェイス経由でイベントカメラを利用する場合は、Raspberry Pi を使用した Kria SOM SmartCam の設計例にて、AMD Vivado および AMD Vitis を使用する設計に関する一般的なガイダンスを提供しています。イベントカメラは、画像フレーム単位のカメラとは異なり、イベントデータを生成するため、Vivado の IP パイプラインは MIPI-DMA-PS (DDR) で構成されます。デモザイク、ガンマ補正、カラー補正などの IP コアは必要ありません。USB 経由のイベントカメラの場合は、必要な Linux® ドライバーを設定することで、カメラによるキャプチャと操作を開始できます。GitHub リンクにアプリケーションデザインを提供しています。カスタマイズに関しては、上記の "LogicTronix に問い合わせる" ボタンからお問い合わせください。

イベントカメラは RGB 画像カメラとは異なり、イベントによってトリガーされるため、対象領域 (キャプチャ領域) に動きがある場合にデータストリームを生成します。したがって、全体的な処理帯域幅の要件が RGB データやカメラより少なくなります。またイベントカメラは、従来の画像カメラよりも高速に動作可能です。¹ イベントベースのカメラおよびビジョンの利点に関する詳細は、こちらをご覧ください。

このチュートリアルでは、イベントベースの ML トレーニングと推論の実行について説明しています。これは RGB 画像ベースカメラの場合と同じです。また、イベントベースデータ用の Yolo ネットワークのトレーニング/推論については、PROPHESEE Yolo チュートリアルのページをご覧ください。イベントカメラデータで ML アルゴリズムまたはネットワークをトレーニングおよび推論するその他のチュートリアルも提供しています。

脚注

パフォーマンスのメリットや時間の節約効果に関するすべての記載は、PROPHESEE 社および/または LogicTronix Technologies 社から提供されたものであり、AMD が独自に検証したものではありません。パフォーマンスのメリットと時間の節約効果は、さまざまな要因によって影響を受けます。ここに記載されている結果は、PROPHESEE 社および/または LogicTronix Technologies 社独自のものであり、一般的ではない可能性があります。GD-181

_{Certain AMD technologies may require third-party enablement or activation. Supported features may vary by operating system. Please confirm with system manufacturer for specific features. No technology or product can be completely secure.}

データセンター

ビジネスシステム

パーソナル & ゲーミング

エンベデッド

リソース

アクセラレータ

アダプティブ アクセラレータ

DPU アクセラレータ

イーサネット アダプター

ワークステーション

デスクトップ

ノート PC

リソース

アダプティブ SoC & FPGA

システム オン モジュール (SOM)

テクノロジ

開発者リソース

評価ボード & キット

プロセッサ ツール

グラフィックス ツール＆アプリケーション

アダプティブ SoC & FPGA ツール

IP & アプリ

GPU アクセラレータ ツール & アプリケーション

概要

データセンター & クラウド向け

エッジ & エンドポイント向け

開発者向け

業界

業界

業界

業界

Industrias

ワークロード

ゲーミング

システム

テクノロジ

リソース

EPYC プロセッサ

Radeon グラフィックス & AMD チップセット

FPGA & アダプティブ SoC

Alveo アクセラレータ & Kria SOM

Ryzen プロセッサ

イーサネット アダプター

概要

EPYC プロセッサ

アクセラレータ

アダプティブ SoC、FPGA、SOM

グラフィックス

概要

製品別リソース

タイプ別リソース

AMD のパートナーについて

AMD グローバル サポート

プロセッサ & グラフィックス

アクセラレータ

アダプティブ SoC & FPGA

AMD 正規販売店から購入

アダプティブ & エンベデッドコンピューティング

Get AMD Fan Gear

Buy Direct From AMD

Buy Direct From AMD

Buy Direct From AMD

Buy Direct From AMD

Buy Direct From AMD

イベント ビジョンベース センサーを使用する物体検出と追跡

製品の特長

必要なハードウェア

推奨アクセサリ:

パートナー情報

サポートとリソース

リソース

よくある質問 (FAQ)

イベント カメラの仕組みを教えてください。

イベント カメラのデータセットはどこで入手できますか。

AMD Vivado™ Design Suite または AMD Vitis™ 統合ソフトウェア プラットフォームを使用してイベント カメラを設計する方法を教えてください。

一般的な RGB カメラと比較したイベント カメラの利点を教えてください。

イベント カメラを使用して機械学習モデルを実行する方法を教えてください。

アダプティブアクセラレータ

イーサネットアダプター

システムオンモジュール (SOM)

プロセッサツール

グラフィックスツール＆アプリケーション

GPU アクセラレータツール & アプリケーション

イーサネットアダプター

AMD グローバルサポート

イベントビジョンベースセンサーを使用する物体検出と追跡