-
影像縮放
AMD Instinct™ MI300X 加速器
AMD Instinct™ MI300X 加速器可為生成式 AI 工作負載與 HPC 應用程式提供卓越效能。
規格比較
- AI 效能
- HPC 效能
- 記憶體
AI 效能（峰值 TFLOPs）
與競爭的加速器相較，AI 效能提升高達 1.3 倍1
TF32（稀疏性）
FP16/BF16（稀疏性）
FP8（稀疏性）
HPC 效能（峰值 TFLOPs）
與競爭的加速器相較，HPC 效能提升高達 2.4 倍2
FP64（向量）
FP64（Tensor/矩陣）
FP32（向量）
記憶體容量與頻寬
與競爭的加速器相較，記憶體容量提升 2.4 倍，峰值理論記憶體頻寬提升 1.6 倍3
記憶體容量
記憶體頻寬
尾註
- MI300-17：AMD 效能實驗室截至 2023 年 11 月 11 日為止對以 AMD CDNA™ 3 5 奈米 | 6 奈米 FinFET 製程技術所設計、2,100 MHz 峰值提升引擎時脈的 AMD Instinct™ MI300X (750W) 顯示卡 進行量測，結果為 653.7 TFLOPS 峰值理論 TensorFloat-32 (TF32)、1307.4 TFLOPS 峰值理論半精度 (FP16)、1307.4 TFLOPS 峰值理論 Bfloat16 格式精度 (BF16)、2614.9 TFLOPS 峰值理論 8 位元精度 (FP8)、2614.9 TOPs INT8 浮點效能。MI300X 預期能運用精細的結構稀疏性優勢，實現數學效率的估計 2 倍改善，達到 1,307.4 TFLOPS 峰值理論 TensorFloat-32 (TF32)、2,614.9 TFLOPS 峰值理論半精度 (FP16)、2,614.9 TFLOPS 峰值理論 Bfloat16 格式精度 (BF16)、5,229.8 TFLOPS 峰值理論 8 位元精度 (FP8)、5,229.8 TOPs INT8 稀疏浮點效能。Nvidia H100 SXM (80GB) 700W 顯示卡的已發佈結果為 989.4 TFLOPs 峰值稀疏 TensorFloat-32 (TF32)、1,978.9 TFLOPS 稀疏峰值理論半精度 (FP16)、1,978.9 TFLOPS 稀疏峰值理論 Bfloat16 格式精度 (BF16)、3,957.8 TFLOPS 稀疏峰值理論 8 位元精度 (FP8)、3,957.8 TOPs 峰值理論 INT8 稀疏浮點效能。Nvidia H100 資料來源：https://resources.nvidia.com/en-us-tensor-core。
- MI300-18：AMD 效能實驗室截至 2023 年 11 月 11 日為止對以 AMD CDNA™ 3 5 奈米 | 6 奈米 FinFET 製程技術所設計、2,100 MHz 峰值提升引擎時脈的 AMD Instinct™ MI300X (750W) 顯示卡進行量測，結果為 163.4 TFLOPs 峰值理論雙精度 (FP64 Matrix)、81.7 TFLOPs 峰值理論雙精度 (FP64)、163.4 TFLOPs 峰值理論單精度 (FP32 Matrix)、163.4 TFLOPs 峰值理論單精度 (FP32)、653.7 TFLOPS 峰值理論 TensorFloat-32 (TF32)、1307.4 TFLOPS 峰值理論半精度 (FP16)、1307.4 TFLOPS 峰值理論 Bfloat16 格式精度 (BF16)、2614.9 TFLOPS 峰值理論 8 位元精度 (FP8)、2614.9 TOPs INT8 浮點效能。Nvidia H100 SXM (80GB) 顯示卡的已發布結果為 66.9 TFLOPs 峰值理論雙精度 tensor (FP64 Tensor)、33.5 TFLOPs 峰值理論雙精度 (FP64)、66.9 TFLOPs 峰值理論單精度 (FP32)、494.7 TFLOPs 峰值理論 TensorFloat-32 (TF32)*、989.4 TFLOPS 峰值理論半精度 tensor (FP16 Tensor)、133.8 TFLOPS 峰值理論半精度 (FP16)、989.4 TFLOPS 峰值理論 Bfloat16 tensor 格式精度 (BF16 Tensor)、133.8 TFLOPS 峰值理論 Bfloat16 格式精度 (BF16)、1,978.9 TFLOPS 峰值理論 8 位元精度 (FP8)、1,978.9 TOPs 峰值理論 INT8 浮點效能。Nvidia H100 資料來源：https://resources.nvidia.com/en-us-tensor-core/ * Nvidia H100 顯示卡不支援 FP32 Tensor。
- MI300-05A：AMD 效能實驗室截至 2023 年 11 月 17 日為止對採用 AMD CDNA™ 3 5nm FinFet 製程技術的 AMD Instinct™ MI300X OAM 加速器 750W (192 GB HBM3) 進行的計算，計算結果為 192 GB HBM3 記憶體容量和 5.325 TFLOPS 峰值理論記憶體頻寬效能。MI300X 記憶體匯流排介面為 8,192，記憶體資料速率為 5.2 Gbps，總峰值記憶體頻寬為 5.325 TB/s（8,192 位元記憶體匯流排介面 * 5.2 Gbps 記憶體資料速率/8）。NVidia Hopper H200 (141GB) SXM 顯示卡加速器的最高已公佈結果為 141GB HBM3e 記憶體容量和 4.8 TB/s 顯示卡記憶體頻寬效能：https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446。NVidia Hopper H100 (80GB) SXM 顯示卡加速器的最高已公佈結果為 80GB HBM3 記憶體容量和 3.35 TB/s 顯示卡記憶體頻寬效能。https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet
尾註
- MI300-17：AMD 效能實驗室截至 2023 年 11 月 11 日為止對以 AMD CDNA™ 3 5 奈米 | 6 奈米 FinFET 製程技術所設計、2,100 MHz 峰值提升引擎時脈的 AMD Instinct™ MI300X (750W) 顯示卡 進行量測，結果為 653.7 TFLOPS 峰值理論 TensorFloat-32 (TF32)、1307.4 TFLOPS 峰值理論半精度 (FP16)、1307.4 TFLOPS 峰值理論 Bfloat16 格式精度 (BF16)、2614.9 TFLOPS 峰值理論 8 位元精度 (FP8)、2614.9 TOPs INT8 浮點效能。MI300X 預期能運用精細的結構稀疏性優勢，實現數學效率的估計 2 倍改善，達到 1,307.4 TFLOPS 峰值理論 TensorFloat-32 (TF32)、2,614.9 TFLOPS 峰值理論半精度 (FP16)、2,614.9 TFLOPS 峰值理論 Bfloat16 格式精度 (BF16)、5,229.8 TFLOPS 峰值理論 8 位元精度 (FP8)、5,229.8 TOPs INT8 稀疏浮點效能。Nvidia H100 SXM (80GB) 700W 顯示卡的已發佈結果為 989.4 TFLOPs 峰值稀疏 TensorFloat-32 (TF32)、1,978.9 TFLOPS 稀疏峰值理論半精度 (FP16)、1,978.9 TFLOPS 稀疏峰值理論 Bfloat16 格式精度 (BF16)、3,957.8 TFLOPS 稀疏峰值理論 8 位元精度 (FP8)、3,957.8 TOPs 峰值理論 INT8 稀疏浮點效能。Nvidia H100 資料來源：https://resources.nvidia.com/en-us-tensor-core。
- MI300-18：AMD 效能實驗室截至 2023 年 11 月 11 日為止對以 AMD CDNA™ 3 5 奈米 | 6 奈米 FinFET 製程技術所設計、2,100 MHz 峰值提升引擎時脈的 AMD Instinct™ MI300X (750W) 顯示卡進行量測，結果為 163.4 TFLOPs 峰值理論雙精度 (FP64 Matrix)、81.7 TFLOPs 峰值理論雙精度 (FP64)、163.4 TFLOPs 峰值理論單精度 (FP32 Matrix)、163.4 TFLOPs 峰值理論單精度 (FP32)、653.7 TFLOPS 峰值理論 TensorFloat-32 (TF32)、1307.4 TFLOPS 峰值理論半精度 (FP16)、1307.4 TFLOPS 峰值理論 Bfloat16 格式精度 (BF16)、2614.9 TFLOPS 峰值理論 8 位元精度 (FP8)、2614.9 TOPs INT8 浮點效能。Nvidia H100 SXM (80GB) 顯示卡的已發布結果為 66.9 TFLOPs 峰值理論雙精度 tensor (FP64 Tensor)、33.5 TFLOPs 峰值理論雙精度 (FP64)、66.9 TFLOPs 峰值理論單精度 (FP32)、494.7 TFLOPs 峰值理論 TensorFloat-32 (TF32)*、989.4 TFLOPS 峰值理論半精度 tensor (FP16 Tensor)、133.8 TFLOPS 峰值理論半精度 (FP16)、989.4 TFLOPS 峰值理論 Bfloat16 tensor 格式精度 (BF16 Tensor)、133.8 TFLOPS 峰值理論 Bfloat16 格式精度 (BF16)、1,978.9 TFLOPS 峰值理論 8 位元精度 (FP8)、1,978.9 TOPs 峰值理論 INT8 浮點效能。Nvidia H100 資料來源：https://resources.nvidia.com/en-us-tensor-core/ * Nvidia H100 顯示卡不支援 FP32 Tensor。
- MI300-05A：AMD 效能實驗室截至 2023 年 11 月 17 日為止對採用 AMD CDNA™ 3 5nm FinFet 製程技術的 AMD Instinct™ MI300X OAM 加速器 750W (192 GB HBM3) 進行的計算，計算結果為 192 GB HBM3 記憶體容量和 5.325 TFLOPS 峰值理論記憶體頻寬效能。MI300X 記憶體匯流排介面為 8,192，記憶體資料速率為 5.2 Gbps，總峰值記憶體頻寬為 5.325 TB/s（8,192 位元記憶體匯流排介面 * 5.2 Gbps 記憶體資料速率/8）。NVidia Hopper H200 (141GB) SXM 顯示卡加速器的最高已公佈結果為 141GB HBM3e 記憶體容量和 4.8 TB/s 顯示卡記憶體頻寬效能：https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446。NVidia Hopper H100 (80GB) SXM 顯示卡加速器的最高已公佈結果為 80GB HBM3 記憶體容量和 3.35 TB/s 顯示卡記憶體頻寬效能。https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet
特定 AMD 技術可能需要第三方的啟用或啟動。支援的功能可能會因作業系統而異。 如需特定功能，請向系統製造商確認。沒有技術或產品是絕對安全的。