LM Studio を使用した LLM の実行と提供
LM Studio を使用してローカルで LLM を実行および提供することで、モデルの容易な展開と OpenAI 互換のローカル API ホスティングを実現できます。
ROCm™ AI 開発者ハブ: ローカル AI
AMD Radeon™ GPU を使用してローカルで小規模モデルを実行
AMD Radeon GPU 上でのプログラミングに AMD ROCm™ を使用して実験してみましょう。サンプル プレイブック、ローカル AI 開発ツール、チュートリアル、オープンソース プロジェクト、ドキュメントなどをご用意しています。
ROCm のインストール:
ローカル AI ワークロードのサンプルを実行
エッジ AI のユース ケースに ROCm ソフトウェア スタックを試してみましょう。
注目のワークロード
AMD Radeon GPU にアクセス
ROCm を使用して AMD Radeon GPU 上でのプログラミングをテストしますか?
強力な AMD Radeon GPU を使って、地域に応じたローカル AI アプリケーションを開発してみましょう。
学習リソース
さらに多くのトピックを参照して、AMD の最新の技術的進歩を理解するのに役立つ学習リソースをご確認ください。
コミュニティとサポート
よくある質問 (FAQ)
GPU を使用したローカルでの AI アプリケーションの開発は、クラウドに依存することがなく、低レイテンシ、リアルタイムの応答性、コスト管理、データ プライバシーが必要な場合に最適です。 開発者は、ROCm を使用して AMD Radeon GPU 上でのプログラミングを実行することで、次のようなユース ケース向けに AI ワークロードをローカルで実行できます。
- RAG (検索拡張生成)、コーディング支援、プライベート AI アプリケーションのためのローカル LLM およびコパイロット
- 画像生成、ビデオおよびオーディオの強化、3D レンダリングなどのクリエイティブおよびメディア ワークフロー
- AI を活用したゲーミングおよびリアルタイム グラフィックス
ROCm はリリースを重ねるごとに、パフォーマンスが著しく向上しています。パフォーマンス結果のページでは、ROCm ソフトウェアを使用して推論 (vLLM、xDiT など) およびトレーニング (PyTorch、Megatron-LM、JAX MaxText など) に一般的な AI モデルを実行した場合の、AMD Instinct GPU パフォーマンスの評価基準を得ることができます。
ROCm をサポートする AMD Radeon RX、Radeon PRO、および Radeon AI Pro GPU は、ローカル AI の強力なファインチューニングと推論機能を提供します。これらの GPU では、ROCm 対応の PyTorch を PIP (Linux および Windows の場合) または Docker (Linux の場合) を使用してインストールできます。AMD ROCm チームはオープンソース開発に積極的に貢献し、PyTorch を含むフレームワーク組織と緊密に連携しています。
ROCm ニュースにサインアップする
ROCm ニュースレターにサインアップして、最新のリリースやヒントなどを受け取りましょう。