Iterate.ai、AMD Ryzen™ AI PRO プロセッサでプライベート AI を構築

Iterate.ai、AMD Ryzen™ AI PRO プロセッサでプライベート AI を構築

Iterate.ai は、AMD Ryzen™ AI PRO プロセッサを採用し、32B 規模のプライベート LLM を 32k コンテキストで毎秒 60 〜 80 トークンという速度で処理。クラウド依存によるコストとリスクを削減しています。

Iterate.ai は自らを "プライベート AI 企業" と位置付けています。企業が生成 AI を導入して生産性を向上させる中で、Iterate.ai は、組織の境界内で安全に実行できる高度なワークフローに重点を置いています。大規模組織は同社の Generate アプリケーションを使用することで、パーソナライズされた AI アシスタントとエージェント型ワークフローを構築し、Jira、Slack、Salesforce といった重要なビジネス システムに散在する複雑なデータを効率的に分析できるようになります。

データ漏洩の防止と強力なローカル AI 機能の提供を両立するために、Iterate.ai は AMD と緊密に協力して、AMD Ryzen™ AI PRO プロセッサ専用に Generate を最適化しました。この協業により、Generate は AMD Ryzen AI PRO プロセッサの CPU、統合 GPU、専用 NPU を連携させて使用できるようになりました。Iterate.ai は、ユーザーのデバイスを基盤とするソリューションを提供することで、100% のデータ保持と制御を実現すると同時に、変動するクラウドのトークン費用を、企業にとって予測可能な固定費に変えます。

データを保護しトークン コストを管理する

IT の意思決定者は、パフォーマンスとセキュリティの両方を重視します。AI への移行によってセキュリティ上の懸念は強まっています。その中で組織は、機密性の高い専有情報が外部の大規模言語モデル (LLM) にさらされるリスクを管理しようと奮闘しています。

Iterate.ai の特別プロジェクト エンジニアである Karanbir Singh 氏は、「Generate が取り組んでいる大きな課題は安全性です」と説明します。「企業が外部の LLM を使用する場合、保持されるデータを企業側では制御できません。Iterate.ai は、ローカル デバイス上のアプリケーションのすぐ隣で AI モデルを実行するため、データがインターネットに送信されることはありません」。

この課題を複雑にするのがコストです。Iterate.ai の共同創設者で CTO の Brian Sathianathan 氏は、「最近の業界調査で、トークンの使用量がこの 1 年間で 100 倍にも増加したことが示されています」と述べています。クラウドベースの LLM 推論はトークンごとに課金されるため、企業の予算に大きな変動とコストの不確実性が生じます。Iterate.ai は、企業がこの従量課金モデルから AI ワークフローを移行させて、完全なデータ主権を確立できるよう支援することを考えていました。また、ソリューションはオフラインでも動作する必要があります。そうすることで、移動中や接続に問題がある場合でも AI を使い続けることができます。

AMD 搭載で進化したプライベート AI が道筋を示す

Iterate.ai は、同社のエンタープライズ製品に必要な拡張性と柔軟性を備えた包括的なテクノロジ スタックに、AMD を選択しました。「AMD の魅力は、CPU、GPU、NPU 機能を備えた高性能プロセッサを搭載したノート PC 製品を展開していることです。同時に、AMD は AMD Instinct™ MI300 シリーズ GPU のような強力なサーバーサイド ソリューションも提供しています」と Sathianathan 氏は言います。「AMD には、クライアント側からサーバーまでを網羅するエンドツーエンドのソリューションがあります。プライベート AI 革命を実現するための最適な位置にいる AMD は、Iterate.ai にとって理想的なパートナーです」。

AMD Lemonade Server で開発を加速させる

Iterate.ai は、ローカル LLM 開発を簡素化するオープンソース ツールの AMD Lemonade Server を統合しました。「Lemonade Server は、事実上の業界標準である OpenAI 互換としてすべてを公開しています。AMD が Lemonade Server に注いだ労力のおかげで、当社のアプリケーションと LLM の統合は、はるかに簡単になっています」と Sathianathan 氏は言います。

合理化されたアプローチにより、Iterate.ai の展開スケジュールが短縮され、リソース要件が削減されました。Sathianathan 氏はこう言います。「このすべてを自分たちでやらなければならなかったら、少なくとも 2 倍のエンジニアが必要になっていたでしょう。AMD のソフトウェアとハードウェアの組み合わせは非常に安定していて、本当に素晴らしい性能を発揮します。また、LLM 側で通常必要とされるよりはるかに少ないリソースで開発を管理できるようになりました」。

ハードウェア使用率を最適化する

AMD Ryzen AI PRO プロセッサの高性能アーキテクチャにより、Iterate.ai は以前よりも高い処理能力を備えたローカル AI アプリケーションを設計できるようになりました。Generate は、AMD Ryzen AI PRO プロセッサの 3 つのコンポーネントである CPU、GPU、NPU すべてを使用して最適なパフォーマンスを実現します。単純なドキュメントの要約からチャートやグラフの非常に複雑な分析まで、さまざまなユース ケースを処理する Generate にはこの並列アーキテクチャが不可欠です。

連携されたハードウェア アクセラレーションは、優れた電力効率とバッテリ ライフに欠かせません。Sathianathan 氏は専用 NPU を活用するメリットを強調します。「AMD Ryzen AI NPU は LLM を長時間実行するために徹底的に最適化されているため、非常に複雑なタスクに理想的です。PC は通常、メモリとリソースの両方に制約のある環境で動作します。そのため、NPU、GPU、CPU それぞれの異なる電力特性を活用する必要があります。AMD Ryzen AI PRO プロセッサのすべてのシリコン リソースを並列に使用できるのは、理想的と言えます。また、このアプローチでは高負荷の LLM 処理の最中にノート PC のバッテリの消耗を防ぐことができます」。

拡張性、固定コスト、データ主権を実現する

Sathianathan 氏は、AMD プラットフォーム上で Iterate.ai を展開することは、現代の企業のニーズに対応できる処理能力を実現する上で不可欠だと言います。「AMD は、セキュリティ、プライバシー、コスト面でメリットをもたらすローカル AI の活用を可能にし、ビジネスや組織が確信を持って業務を推進できる環境を生み出します」。

同時に、そのような確信の根拠となっているのが、数値で確認できる優れたパフォーマンスです。Iterate.ai のテストでは、AMD プラットフォームで並外れたモデル スケーリングが可能なことが確認されています。Singh 氏は、「業界標準では、16K のコンテキスト ウィンドウを持つ 140 億パラメーターのモデルが AI PC に適したベンチマーク モデルになっています」と説明します。「AMD Ryzen AI プロセッサを使用すると、ほぼ 2 倍の規模の 320 億パラメーター モデルを 32K のコンテキスト ウィンドウで活用できます」。

この規模の面でのメリットにより、Iterate.ai はより負荷の高いエンタープライズ ワークロードを PC 上でローカルに処理することが可能になっています。テスト指標では、システム上で動作する独自の Iterate.ai モデルの高いスループットが確認されています。同社の Interplay RAG モデルは、約 60 ～ 80 トークン/秒の平均スループットを達成し、ピーク スループットはドキュメント検索クエリ中の 92.89 トークン/秒でした。

「Generate をローカル実行するということは、100% 固定費になるということです」と Sathianathan 氏は言います。「基本的に PC の耐用年数にわたって償却する CapEx として一度きりの購入になるため、多くの変動費をなくすことができます」。

LLM のメモリ全体を PC 上に保持することで、Generate はデータ主権に対応し、組織が HIPAA、GDPR、SOC 2 などのコンプライアンス基準に適合できるよう支援します。このプライバシー優先のアプローチは、AMD Memory Guard のような多層防御を提供する AMD PRO のセキュリティ機能によって強化されています。AMD Memory Guard は、システム メモリをリアルタイムで暗号化し、PC の紛失や盗難時に機密性の高いビジネス データを保護します。

プライベート AI 分野を先導する

Iterate.ai は既に、同社のアプリケーションを次世代 AMD プロセッサ向けに最適化することを目指しています。Singh 氏が強調するのは AMD のロードマップとパートナーシップです。「ますます多くの顧客のユース ケースに対応するために、今後 12 ～ 18 か月の間にさらに大きな LLM とコンテキスト ウィンドウを活用できるようにすることを目指しています。AMD は将来のビジョンに向かって順調に進んでいると思います。そして私たちは、AMD のパートナーであることをとても嬉しく思っています。共に新たな機会を迅速にとらえ、それらを活用したユース ケースを構築していけるのですから」。