使用 AMD Radeon™ 顯示卡在本機執行較小型的模型

嘗試使用 AMD ROCm™ 進行 AMD Radeon 顯示卡程式設計。尋找手冊範例、本機 AI 開發工具、教學課程、開放原始碼專案、文件等資源。

安裝 ROCm:

執行範例本機 AI 工作負載

立即體驗適用於邊緣 AI 使用案例的 ROCm 軟體堆疊。

精選工作負載

開始使用 Lemonade

使用開放原始碼 AI 伺服軟體 Lemonade 以本機方式執行生成式 AI 模型,輕鬆進行本機部署與實驗。

開始使用 Ollama

使用 Ollama 在本機上執行大型語言模型,只需幾分鐘即可透過終端台、桌面應用程式或 REST API 開始聊天。

取得\ AMD Radeon 顯示卡

想要體驗透過 ROCm 進行 AMD Radeon 顯示卡程式設計嗎?

找到您地理位置附近的經銷商,嘗試使用強大的 AMD Radeon 顯示卡來開發本機 AI 應用程式。

AMD Radeon™ AI PRO R9700 and R9700S

學習資源

探索更多主題,尋找相關的學習資源,協助您掌握 AMD 的最新技術進展。

說明文件

瞭解 ROCm 工具、編譯器、執行階段,以及針對 AMD Instinct 顯示卡進行除錯,或部署和調度管理的相關資訊。

社群與支援

常見問答

當您需要低延遲、即時反應、成本控管或資料隱私,又不希望依賴雲端時,使用顯示卡開發本機 AI 應用程式是理想選擇。 透過以 ROCm 進行 AMD Radeon 顯示卡程式設計,開發人員能以本機方式為許多使用案例執行 AI 工作負載,例如:

  • 適用於檢索增強生成 (retrieval-augmented generation, RAG)、編碼輔助與私人 AI 應用程式的本機 LLM 和 Copilot
  • 影像產生、影片與音訊增強和 3D 渲染等創意及媒體工作流程
  • 採用 AI 技術的遊戲與即時繪圖

ROCm 歷次版本的效能均有顯著提升。歡迎查看效能結果頁面,取得評估參考點,瞭解 AMD Instinct 顯示卡搭配 ROCm 軟體時,在執行用於推論(例如 vLLM、xDiT)和訓練(例如 PyTorch、Megatron-LM 和 JAX MaxText)之熱門 AI 模型方面的效能表現。

AMD Radeon RX、Radeon PRO 與 Radeon AI Pro 這些支援 ROCm 的顯示卡,可提供強大的本機 AI 微調和推論。您可以透過 PIP(適用於 LinuxWindows)或 Docker(適用於 Linux)安裝方式,為使用這些顯示卡的 ROCm 安裝 PyTorch。AMD ROCm 團隊積極參與開放原始碼開發,並與包括 PyTorch 在內的架構組織密切合作。