概述

最佳化顯示卡軟體堆疊

AMD ROCm™ 是一款開放式軟體平台,可協助資料中心團隊快速設定和部署 AI 與 HPC 工作負載,以及將其擴充到多個顯示卡與節點。開發人員可使用熟悉的架構、調整效能關鍵程式碼,以及透過 HIP 針對支援的 AMD 硬體來調整現有的顯示卡應用程式與架構。

影像縮放
ROCm AI stack diagram showing Silo AI, Primus, ROCm Inference, open ecosystem tools, Core SDK, expansions, and deployment.

← 觀看影片

ROCm.AI:加快開發速度與效能最佳化

AI 原生開發人員體驗,可加速 ROCm 開發、簡化 AI 工作負載的開發與最佳化,以及充分發揮 AMD 硬體效能

開發

使用 AMD ROCm 軟體大規模建置、訓練和部署 AI

AMD ROCm™ 軟體整合開放式架構、最佳化程式庫、模型工具和可擴充基礎架構,來支援從實驗到投產的 AI 開發。

建置

簡化模型開發

運用 AMD 最佳化容器與適用於 Hugging Face 上超過 300 萬個熱門開放式模型的工作流程,透過 PyTorch、TensorFlow 和 JAX 進行開發。

訓練

AMD Primus - 大規模訓練 AI 模型

將 AMD Primus 與 ROCm 通訊程式庫用於採用 AMD Instinct™ 顯示卡的預訓練、微調和分散式訓練。

最佳化

最佳化與提供 AI 模型

使用 AMD Quark、AITER、vLLM 和 SGLang 來最佳化模型、加速關鍵作業,以及部署高輸送量推論。

部署

在整個 AI 基礎架構上部署

透過容器、Kubernetes、Slurm、遙測和生命週期管理工具,從個別顯示卡擴充成多節點環境。

使用 AMD ROCm 建置、最佳化、擴充和執行高效能運算

AMD ROCm™ 軟體可協助 HPC 開發人員建置或移植科學應用程式、剖析與調整效能,以及從單一顯示卡邁向多節點執行。

建置

建置與移植科學應用程式

透過 HIP 或 OpenMP® 卸載開發顯示卡加速程式碼,使用 Kokkos 與 RAJA 等 HPC 架構,以及使用 HIPIFY 協助轉譯現有 CUDA® 程式碼。

最佳化

剖析與調整效能

使用 ROCm 工具剖析內核與資料移動,然後將最佳化程式庫用於線性代數、FFT、求解器和稀疏運算。邊調整邊驗證結果。

擴充

擴充到多個顯示卡與節點

將顯示卡感知 MPI 用於分散式應用程式,並將 rocSHMEM 用於顯示卡發起的通訊,然後隨著顯示卡與節點數量增加持續測量效能。

執行

使用 HPC 基礎架構執行

將應用程式封裝於 HPC 容器中,並使用 Slurm 提交叢集工作。El Capitan、Frontier 和 LUMI 等最頂級的系統都使用 ROCm。

最新功能

ROCm 10.0:專為代理式 AI 時代打造

圖示
運用 AMD 專業知識進行開發

AMD 技能將精選的 AMD 知識與經驗證的工作流程導入 AI 編碼代理人,協助開發人員透過熟悉之工具中的指引來打造 AMD 最佳化應用程式。

圖示
透過更簡化的工作流程執行

ROCm CLI 提供統一介面,可設定、管理和執行 AMD 硬體上的 AI 工作負載。

圖示
最佳化端對端推論

ROCm Hyperloom 運用代理式 AI 來剖析工作負載、找出瓶頸、實作最佳化,以及針對主機程式碼與顯示卡內核驗證效能。

圖示
以模組化 ROCm Core SDK 為基礎

ROCm Core SDK 提供模組化基礎,可在各種 AMD 平台上建置、部署和最佳化 AI 工作負載。

生態系統與合作夥伴

廣大的開放式 AI 生態系統,由領先架構、技術合作夥伴和開發人員所組成,可加速創新、實現可移植性,以及將 AI 從開發擴充到生產環境。

支援的硬體

開發人員資源

ROCm Developer screen shot

常見問答

AMD ROCm™ 是一款開放式軟體堆疊,可使用支援的 AMD 顯示卡開發 AI 與高效能運算應用程式。團隊可使用 AMD ROCm™ 訓練與提供 AI 模型、打造顯示卡加速軟體,以及透過顯示卡與節點執行科學工作負載。

ROCm 與 CUDA 是各自獨立的顯示卡運算平台。ROCm 為支援的 AMD 顯示卡提供開放式軟體堆疊,其 HIP 程式設計模型則提供移植 CUDA 原始碼的路徑。這些工具與 API 無法直接互換,因此移轉心力取決於應用程式及其相依性。

不一定。以受支援 AI 架構為基礎的應用程式或許可從支援 ROCm 的架構版本著手。呼叫 CUDA API 或仰賴 CUDA 專用程式庫的程式碼可能需要修改。HIPIFY 可協助將支援的 CUDA 程式碼轉譯成 HIP,之後開發人員應測試其正確性,並視需要進行效能調整。

ROCm 支援使用 PyTorch、TensorFlow 和 JAX 進行 AI 開發,也支援使用 vLLM 與 SGLang 提供模型。支援的版本取決於 ROCm 版本與系統配置。選擇架構版本前,請先查看最新相容性一覽表。

首先,請查看相容性一覽表,確認顯示卡與作業系統的相容性。然後,依照 AMD 針對該配置提供的安裝指南進行操作。AMD Infinity Hub 提供預先設定的容器,而 ROCm CLI 可輔助受支援系統上的安裝與診斷。擴充前,請先執行範例工作負載以驗證您的環境。

ROCm 時事通訊

接收最新的 ROCm 資訊。

尾註

©2024 Advanced Micro Devices, Inc. 保留所有權利。AMD、AMD 箭頭標誌、AMD ROCm、AMD Instinct、EPYC、Radeon Instinct 及其相關組合為 Advanced Micro Devices, Inc. 的商標。PyTorch 為 PyTorch 的商標或註冊商標。本出版物中使用的其他產品名僅用於識別目的,可能屬於其各自公司的商標。

  1. 如需 ROCm 支援的 Radeon 料件完整清單,請前往 https://rocm.docs.amd.com/en/latest/reference/gpu-arch-specs.html