ROCm Core SDK
您使用 AMD 硬體開發顯示卡加速應用程式所需的一切資源。ROCm Core SDK 包含構成 ROCm 軟體堆疊基礎的必要程式庫、執行階段軟體、編譯器和工具。
ROCm 7.14 的新功能
可加速模組化 ROCm 開發的 TheRock 正式達到投產等級
涵括 AMD Instinct™ 顯示卡、Radeon™ 和 Ryzen™ AI 的廣泛 AI 硬體支援
將對領先之開放原始碼 AI 架構與推論引擎的支援最佳化
具備雲端原生調度管理和開發人員工具的企業級 AI 部署
提升分散式 AI、剖析與可擴充部署的效能
ROCm 的逐年演進
頂尖企業與研究機構已運用 ROCm 近十年之久。探索 ROCm 歷史的各種里程碑。
ROCm Core SDK 元件
探索支援 ROCm Core SDK 運作的關鍵元件
適用於 HPC 的顯示卡加速 AI、數學與通訊程式庫。原生 roc* 程式庫可最佳化 AMD 顯示卡效能,而 hip* 包裝函數則可簡化 CUDA 移植工作。運用高效能多顯示卡與多節點通訊程式庫,擴充分散式 AI 與 HPC 工作負載。
運用 AMD 編譯器工具鏈與執行階段軟體,高效率建置及執行顯示卡應用程式。運用剖析與除錯工具測量效能、分析顯示卡使用率並找出瓶頸,以最佳化 AI、HPC 與加速之運算應用程式。
運用執行階段軟體、驅動程式與作業系統工具,監測並管理顯示卡硬體,包括溫度、功耗、記憶體與資源配置。
監控並管理顯示卡硬體狀態,包括溫度、功耗與資源配置。
AI 推論
使用 ROCm 開發生產級 AI 推論
運用完全開放原始碼推論堆疊,使用 AMD 顯示卡部署領先的開放式模型。透過預先建置的容器與上游架構支援,來啟動並執行。
開放式且立即可用的推論
從微調到投入生產環境,無需變更工作流程
AMD ROCm 提供開放原始碼端對端推論堆疊,具備上游架構支援(包括 PyTorch),以及經驗證的 vLLM 與 SGLang 容器,讓團隊能透過一致的工作流程,從對 AMD Instinct™ 顯示卡進行微調與基準測試無縫銜接至投產。
高效率推論,預設最佳化
無需逐一調整模型,也能實現高輸送量
ROCm 將量化模型套件與原生低精度執行及最佳化的轉換器最忙碌路徑內核結合,可減少調整工作,同時為真實世界的部署運作充分提升輸送量與效率。
適用於現代布建模式的分散式推論
專為預先填入、解碼與可擴充工作負載所打造
ROCm 透過預先填入與解碼分解,以及最佳化的多顯示卡、多節點通訊來支援分散式推論,協助在推論規模擴大時維持響應速度與使用率。
對 Kubernetes 提供生產級支援的 AI
以機群規模可靠地運行推論
ROCm 透過 AMD GPU Operator、內建遙測功能與模組化驅動程式架構與 Kubernetes 整合,可在安全及實體隔離的環境中支援自動化部署、可觀察性,以及可預測的生命週期管理。
AI 訓練
使用 AMD 顯示卡進行大規模端對端 AI 訓練
運用開放式端對端軟體平台,使用 AMD 顯示卡訓練及微調 AI 模型。運用最佳化架構、高效率顯示卡加速功能,以及從單一顯示卡流暢擴充至多節點叢集的能力。
最佳化 AI 訓練成效
透過運算與最佳化加速模型訓練
ROCm 運用 AMD 顯示卡的平行處理能力,縮短訓練時間並提升 AI 工作負載的整體效能。透過最佳化程式庫、高效率資源管理,以及對現代 AI 架構的支援,開發人員能更快速地訓練大型模型,同時充分提升顯示卡使用率。
針對專用 AI 進行高效率微調
運用 ROCm 讓基礎模型適用於特定領域的工作
ROCm 透過最佳化程式庫、廣泛的架構相容性與高效率資源管理,加速使用 AMD 顯示卡微調大型語言模型及其他基礎模型。更快速地微調模型,同時與開放原始碼架構、模型及工具緊密整合。
可擴充的分散式訓練
使用 AMD 顯示卡叢集可靠執行多節點訓練
Primus 透過分散式執行、拓撲感知排程與容錯機制,協助團隊使用 AMD 顯示卡叢集擴充訓練規模。隨著工作負載與叢集規模擴大,此功能有助於維持更一致的訓練作業。
企業級的訓練作業
為長時間執行的工作提供遙測、驗證與更快速的復原能力
Primus 提供遙測功能、儀表板與節點健康狀況基準測試,讓團隊掌握訓練效能與叢集健康狀況。這可協助組織以更高的可靠性執行大規模訓練工作負載,並加快問題排除速度。
實現 HPC 和超級電腦運算的 ROCm
使用 ROCm 建置並擴充 HPC 應用程式
從最佳化程式庫到領先的超級電腦,ROCm 可使用 AMD 顯示卡實現高效能運算。
加速 HPC 創新
推動科學、工程與研究領域的突破
AMD ROCm™ 可支援能源、分子動力學、物理、計算化學、氣候科學及其他研究領域的高效能運算 (HPC) 與超級運算工作負載,並提供開放式軟體平台,協助因應全球最複雜的運算挑戰。
靈活彈性的 HPC 程式設計
使用最適合您應用程式的工具進行開發
ROCm 支援多種 HPC 程式設計模式,包括 OpenMP®、HIP、OpenCL™ 與 Python™,讓開發人員可靈活運用最適合其工作負載的語言與架構,建置、最佳化及擴充應用程式。
最佳化 HPC 程式庫
運用最佳化程式庫加速應用程式
ROCm 包含完整的數學與通訊程式庫,這些程式庫的功用在於簡化 HPC 開發,同時提升應用程式使用 AMD 運算平台時的效能、擴充性與效率。
經超級運算實證
支援全球領先超級電腦的規模
AMD 支援前 500 大超級電腦中的 177 部,包括 Frontier、LUMI,以及即將推出的 El Capitan 系統。ROCm 提供軟體基礎,可執行全球規模最大、需求最嚴苛的部分 HPC 應用程式,支援百億億次級及更高規模的運算。
合作夥伴案例研究
合作夥伴與成功證明
瞭解企業與領先研究機構如何與 AMD 攜手合作。
精選部落格
支援的硬體
開發人員資源
ROCm 時事通訊
接收最新的 ROCm 資訊。
尾註
©2024 Advanced Micro Devices, Inc. 保留所有權利。AMD、AMD 箭頭標誌、AMD ROCm、AMD Instinct、EPYC、Radeon Instinct 及其相關組合為 Advanced Micro Devices, Inc. 的商標。PyTorch 為 PyTorch 的商標或註冊商標。本出版物中使用的其他產品名僅用於識別目的,可能屬於其各自公司的商標。
- 如需 ROCm 支援的 Radeon 料件完整清單,請前往 https://rocm.docs.amd.com/en/latest/reference/gpu-arch-specs.html
©2024 Advanced Micro Devices, Inc. 保留所有權利。AMD、AMD 箭頭標誌、AMD ROCm、AMD Instinct、EPYC、Radeon Instinct 及其相關組合為 Advanced Micro Devices, Inc. 的商標。PyTorch 為 PyTorch 的商標或註冊商標。本出版物中使用的其他產品名僅用於識別目的,可能屬於其各自公司的商標。
- 如需 ROCm 支援的 Radeon 料件完整清單,請前往 https://rocm.docs.amd.com/en/latest/reference/gpu-arch-specs.html