AMD Instinct™ MI325X 加速器

AI 效能的新標準

客戶於 AI 加速器的投資預計將在 2028 年前達到 5000 億美元；在短短的四年內，企業在加速器上投注的資金，就會來到五千億美元之鉅。AI 能為企業帶來無與倫比的生產力提升和革命性變化，而企業領袖們深知這一點。這就是他們投入數以億計的成本進行工作方式轉型的原因。好幾百萬人每天依賴著 AMD Instinct™ 加速器來使用熱門的 AI 模型應用程式，像是 GPT 4、Llama 3.1 405B 以及 Hugging Face 平台上超過百萬的開放原始碼模型。

這種生產力水準只會持續飆升。事實上，隨著全新的 AMD Instinct™ MI325X 加速器推出，AMD 正在確保這一切盡快實現，而不是遙遙無期。

AMD Instinct™ MI325X 加速器

龐大記憶體與領先效能的完美結合

在生成式 AI 模型和資料中心效能方面，AMD Instinct™ MI325X 加速器開創了新標準。這些加速器基於第 3 代 AMD CDNA™ 架構打造而成，提供出色的效能和效率，專為處理各種需求嚴苛的 AI 任務所設計，包含模型訓練和推論。 

如此密集的 AI 應用需要大量的記憶體，這就是為什麼您會看到我們提供領先業界的 256GB 新一代 HBM3e 記憶體容量和 6TB/s 頻寬的原因。結合處理能力和廣泛的資料類型支援，AMD Instinct MI325X 加速器提供企業所需的效能，能夠滿足幾乎所有 AI 解決方案。¹

AMD Instinct MI325X 加速器在 Mixtral 8x7B、Mistral 7B 和 Meta Llama-3.1 70B 等模型中，推論效能可提升高達 1.4 倍，遙遙領先競爭對手產品。^{2, 3, 4}

隨著效能數字的上升以及隨之提升的生產力，客戶將享有領先業界的記憶體容量及其所帶來的好處；使客戶在運用 AI 大型語言時減少顯示卡的使用數量，透過更小的叢集就能達到與前一代產品相同或是更好的結果。⁵ 總而言之，其結果便是更小的部署佔用空間、簡化部署和更好的節能表現。AMD Instinct MI325X 加速器是那些希望在不大幅增加 TCO 的情況下就能獲得極致效能的企業的不二之選。

AMD Instinct™ MI325X 平台

奠定毫不妥協的運算領導地位

現今的大型語言模型和生成式 AI 需要三項要素才能擁有快速獲得成果的能力：支援多種資料類型的快速加速、處理龐大資料集的大容量記憶體和頻寬，以及密集的 I/O 頻寬。

客戶只要用這些新型加速器組建平台，這三項要素便可全部到手。新業界標準基板 (UBB 2.0) 最多可容納八個 AMD Instinct™ MI325X 加速器和 2TB 的 HBM3e 記憶體，幫助處理需求極高的 AI 模型，並配備八個 x16 PCIe® Gen 5 主機 I/O 連接和 AMD Infinity Fabric™ 網狀技術，實現每個加速器之間的直接連線，資料瓶頸將成為過去式。

與競爭對手的類似平台相比，MI325X 平台提供 1.8 倍的記憶體容量、1.3 倍的記憶體頻寬，並在推論效能上取得巨大的突破，可提升高達 1.4 倍。^{6, 7, 8}

對於希望從現有 AMD Instinct 基礎架構進行升級的客戶而言，AMD Instinct MI325X 加速器可與 AMD Instinct™ MI300X 平台直接相容，能夠縮短產品上市時間，並將成本高昂的基礎架構變更減至最低。 

AMD ROCm™ 平台

利用開放式軟體加速 AI 推論與訓練

AMD Instinct™ MI325X 加速器運用 AMD ROCm™ 軟體的強大功能，這是 AMD 加速運算的基礎，無論使用者是在開發新一代 AI 應用程式、尖端 AI 模型，還是最佳化複雜的模擬，都能提供絕佳的處理能力。

選擇 AMD 加速器的客戶可以享有包含 PyTorch 和 TensorFlow 等業界標準架構的無延遲支援，簡化 AI 模型的移轉和部署作業，並且僅需變更少量的程式碼即可達成。此外，最新的 AMD ROCm 發行版進一步提高 AMD Instinct 加速器的訓練效能達 1.8 倍，顯示卡的推論效能則提升高達 2.4 倍，並提供最佳化的編譯器、程式庫和執行階段支援，有助於確保快速的模型收斂、精準的模型預測，以及極高效的顯示卡使用率。^{9, 10}

想要進一步瞭解 AMD Instinct™ MI325X 加速器嗎？請造訪 AMD.com，或立即聯絡您的 AMD 代表，以瞭解更多資訊及供貨情況。