AI 技術帶來廣泛的產業影響
無論 AI 部署的大小或規模為何，AMD EPYC 伺服器處理器都能為企業 AI 和一般用途工作負載奠定高效能和高能源效率的基礎。
瞭解為何 AMD EPYC 伺服器處理器是最適合企業 AI 的處理器9
第 5 代 AMD EPYC 伺服器處理器提供高核心數或高頻率、大量記憶體與 I/O 頻寬，以及 AVX-512 指令支援等選項，能滿足企業各種 AI 需求。AMD Infinity Guard 的內建安全技術可從軟體層一直到矽晶層，持續保護資料的安全。7
如何打造 AI 資料中心
要打造 AI 就緒的資料中心，您需要具備以安全性為設計宗旨的通用運算基礎架構，並依據您的效能與工作負載需求增配顯示卡。以下說明如何最佳化您的下一個資料中心，使其成為具備 AI 實力的多任務處理工作站。
第 1 步
整併現有伺服器
資料中心的空間與電力有限。將舊伺服器汰換為新型高密度處理器，您便可減少伺服器數量與相關的能源消耗，並釋放空間供 AI 使用。
併 8 為 1
將 2020 年代的 Intel® “Cascade Lake” 伺服器，更新為搭載第 5 代 AMD EPYC 處理器的伺服器。
高達
86%
伺服器減幅¹
高達
69%
用電減幅¹
高達
41%
3 年 TCO 減幅¹
十四部採用 AMD EPYC 9965 處理器的伺服器所提供的整數效能，等同於 100 部搭載 Intel Xeon Platinum 8280 處理器的舊型伺服器所提供的整數效能。
效能優於最新 Intel® Xeon® 6 處理器
高達
29%
整數效能增幅²
高達
66%
能效增幅³
第 5 代 AMD EPYC 9965 處理器的效能勝過搭載「效能核心」的最新 Intel Xeon 6 6980P 處理器。
第 2 步
使用處理器支援新的 AI 工作負載
許多推論工作負載在處理器上執行即可，不需要特殊的加速器硬體。如果您計畫執行小型或中型模型，或是偶爾需要執行 AI 任務，高核心數的第 5 代 EPYC 伺服器處理器可能會符合您的效能需求。
高達
70%
與 Intel Xeon 6 相比的端對端 AI 效能增幅⁴
AMD EPYC 9965 處理器在 TPCxAI 上的效能勝過 Intel Xeon 6 6980P 處理器。
第 3 步
視需要增配顯示卡
如果有進行模型訓練、執行大型模型推論、進行大規模部署，或是執行低延遲使用案例的規劃，那您可能就需要專屬的 AI 加速功能。您可以先將高頻 AMD EPYC 9005 伺服器處理器部署為主控處理器，以享有其高核心頻率和龐大記憶體容量的優勢。然後再加裝 PCIe 規格的顯示卡，例如 AMD Instinct™ 加速器。
高達
~10 倍
與搭載 Intel Xeon 8592+ 時相比，搭載 AMD EPYC 9575F 時，NVIDIA H100 的定延遲上限推論能力提升⁵
高達
11%
與搭載 Intel Xeon Platinum 8460Y+ 時相比，搭載 AMD EPYC 9575F 時，AMD Instinct MI300X 的推論能力提升⁶
第 4 步
善用內建的安全功能
每次進行 AI 部署時，都必須將資料保護納入考量。AMD EPYC 伺服器處理器以安全性為設計宗旨，可抵禦眾多複雜的攻擊。AMD Infinity Guard7 內建於矽晶層級，能協助抵禦內部和外部威脅，保障您的資料安全無虞。
第 5 步
打造混合地端與雲端的理想架構
兼採地端與雲端混合資源，而具備適當彈性的 AI 基礎架構，可確保您可以快速擴擴充。您可以在數百種硬體選項和超過一千個公有雲實體中，看到 AMD EPYC 伺服器處理器的身影。
在地端執行
350+
硬體平台
在雲端擴充
1,000+
公有雲實體
以 AMD EPYC 伺服器處理器重新整備 AI 系統
常見問答
在投資 AI 硬體之前，資料中心架構師應評估他們的 AI 工作負載和效能需求。在某些情況下，通用型 AMD EPYC 伺服器處理器即可提供足夠的推論效能，不需要另外購置顯示卡。
一般而言，AMD EPYC 伺服器處理器能為參數達 200 億的模型提供足夠的效能。這包括許多常見的大型語言模型 (LLM) 和其他生成式 AI 應用。
許多推論應用都非常適合使用AMD EPYC 伺服器處理器。其中包括經典的機器學習、電腦視覺、記憶體密集的圖形分析、推薦系統、自然語言處理，以及中小型生成式 AI 模型，例如 LLM)。另外，EPYC 也非常適合用於經過專業調整的 AI 代理人，以及提示導向的協同預處理作業，這些都是在檢索增強生成 (RAG) 模型中相當普及的技術。
第 5 代 AMD EPYC 伺服器處理器提供的端對端 AI 效能比 Intel Xeon 6 高出 70%。4相較於 Intel Xeon 6980P，搭載 AMD EPYC 9965 時，DeepSeek 的聊天機器人效能提升達 89%8，而應用於 LLM 時的效能更是令人驚豔。
如果您需要遵守資料在地化或隱私權相關規定，或對於低延遲有嚴格要求，請考慮在地端執行 AI。如果您需要擁有快速擴充或縮減的靈活性，雲端是隨選資源的絕佳選擇。
選擇最適合 AI 的處理器
AMD EPYC 伺服器處理器有多種核心、頻率、記憶體和功率選項可供選擇。為了獲得最佳成果，請根據您預期會最常執行的 AI 工作負載選擇最適配的處理器。
為端對端 AI 工作流程提供卓越效能
就現實世界的 AI 與機器學習應用而言，AMD EPYC 9965 的效能優於 Intel Xeon 6980P。
高達
70%
端對端 AI 效能提升⁴
高達
60%
Facebook AI 相似度搜尋效能提升¹⁰
高達
93%
機器學習效能提升¹¹
為大型語言模型 (LLM) 提供優異的處理器效能
處理器效能足以滿足參數量達數十億的 LLM，讓您安心部署聊天機器人、智慧搜尋代理人，以及其他生成式 AI 應用。AMD EPYC 9965 的效能優於 Intel Xeon 6980P。
高達
89%
DeepSeek 聊天機器人的效能提升⁴
高達
33%
Llama 3.1 8B 中型語言模型的效能提升¹²
高達
28%
GPT-J 6B 摘要用例的輸送量效能提升¹³
高達
36%
Llama 3.2 1B 翻譯用例的效能提升¹⁴
AMD 推動全方位 AI 的發展
我們針對您的 AI 抱負，提出符合基礎架構需求的解決方案。AMD 憑藉在效能上的領先優勢，提供種類最齊全的 AI 產品組合、開放標準平台，以及強大的生態系統。
促進 AI 開發靈活性的開放式軟體
AMD ZenDNN 與 AMD ROCm™ 軟體讓開發人員可以使用自己選擇的架構來最佳化應用程式效能。
AMD EPYC 部署選項
廣大的 AI 地端部署生態系統
我們的 OEM 合作夥伴提供多種企業 AI 硬體，包括配備高核心數與高頻處理器的伺服器、頂級顯示卡產品線，和互通性極強的網路解決方案，可供您安心選購。
在雲端進行 AI 擴充
為 AI 工作負載選擇採用 AMD 技術的虛擬機器 (VM)，讓您的雲端發揮最大效益。
資源
訂閱 AMD 的資料中心深入見解
要求與 AMD EPYC 銷售專家聯絡
尾註
- 9xxTCO-019[DM1] [MK2] ：這個方案包含許多假設和估算，儘管其以 AMD 內部研究和最佳近似值為基礎，但應視為僅供參考的示例，不得未經實際測試並以其作為決策依據。AMD 伺服器與溫室氣體排放 TCO（整體持有成本）估算器工具 - 1.53 版，比較搭載特定 AMD EPYC™ 處理器的伺服器解決方案，與搭載 Intel® Xeon® 處理器的伺服器解決方案，若以總效能 391,000 單位 SPECrate2017_int_base 為目標，各可節省多少成本及產生多少環境衝擊，資料截至 2025 年 9 月 30 日為止。此分析以採用雙路 Intel Xeon 128 核心 Xeon_6980P 的伺服器（SPECrate2017_int_base 分數為 2510，https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf）作為對比，比較採用雙路 AMD 192 核心 EPYC_9965 的伺服器（SPECrate2017_int_base 分數為 3230，https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf），與採用雙路 Intel Xeon 28 核心 Platinum_8280 的舊型伺服器（SPECrate2017_int_base 分數為 391，https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf）。環境影響估值之計算，是根據「2025 年國際國家特定電力係數」中的資料，可在 https://www.carbondi.com/#electricity-factors/ 查看，此分析用到的美國環保署「溫室氣體當量計算器」，是於 2024 年 9 月 4 日取得，其網址為：https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator。如需更多詳細資訊，請參閱 https://www.amd.com/claims/9xx5TCO-019。
- 9xx5-128A：SPECrate®2017_int_base 比較是基於截至 2025 年 5 月 9 日 www.spec.org 上所公佈的分數。雙路 AMD EPYC 9965（3230 SPECrate®2017_int_base，總計 384 核心，500 W TDP，$14,813 處理器價格），6.460 SPECrate®2017_int_base/處理器瓦數，0.218 SPECrate®2017_int_base/處理器價格，https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html；雙路 AMD EPYC 9755（2840 SPECrate®2017_int_base，總計 256 核心，500 W TDP，$12,984 處理器價格），5.680 SPECrate®2017_int_base/處理器瓦數，0.219 SPECrate®2017_int_base/處理器價格，https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html；雙路 Intel Xeon 6980P（2510 SPECrate®2017_int_base，總計 256 核心，500 W TDP，$12,460 處理器價格），5.020 SPECrate®2017_int_base/處理器瓦數，0.201 SPECrate®2017_int_base/處理器價格，https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html。SPEC®、SPEC CPU® 和 SPECrate® 是 Standard Performance Evaluation Corporation 的註冊商標。請參閱 www.spec.org 瞭解更多資訊。Intel 處理器 TDP 與價格資料取自 https://ark.intel.com/，造訪時間 2025 年 4 月 17 日。
- 9xx5-134：SPECpower_ssj® 2008 比較是基於截至 2025 年 4 月 30 日 www.spec.org 上所公佈的分數。雙路 AMD EPYC 9965（35920 ssj_ops/瓦，總計 384 核心，https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html），雙路 AMD EPYC 9755（29950 ssj_ops/瓦，總計 256 核心，https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html），雙路 Intel Xeon 6980P（21679 ssj_ops/瓦，總計 256 核心，https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html）。SPEC®、SPEC CPU® 和 SPECpower® 是 Standard Performance Evaluation Corporation 的註冊商標。請參閱 www.spec.org 瞭解更多資訊。
- 9xx5-151：TPCxAI @SF30 多實體，32 核心實體大小輸送量結果是根據 AMD 執行多個 VM 實體的內部測試，資料截至 2025 年 4 月 1 日為止。彙總端對端 AI 輸送量測試是從 TPCx-AI 基準測試衍生而來，因此無法與已發佈的 TPCx-AI 結果相比，因為端對端 AI 輸送量測試結果不符合 TPCx-AI 規格。雙路 AMD EPYC 9965（總 AIUCpm 6067.53，總計 384 核心，500 W TDP，AMD 參考系統，1.5 TB 24x64 GB DDR5-6400，2 x 40 GbE Mellanox CX-7 (MT2910)，3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Ubuntu® 24.04 LTS 內核 6.13，SMT=ON，Determinism=power，Mitigations=on）；雙路 AMD EPYC 9755（總 AIUCpm 4073.42，總計 256 核心，500 W TDP，AMD 參考系統，1.5 TB 24x64 GB DDR5-6400，2 x 40 GbE Mellanox CX-7 (MT2910)，3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Ubuntu 24.04 LTS 內核 6.13，SMT=ON，Determinism=power，Mitigations=on）；雙路 Intel Xeon 6980P（總 AIUCpm 3550.50，總計 256 核心，500 W TDP，生產環境系統，1.5 TB 24x64 GB DDR5-6400，4 x 1GbE Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe，3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe，Ubuntu 24.04 LTS 內核 6.13，SMT=ON，效能偏好，Mitigations=on）。結果可能會因各種因素而有不同，包括但不限於系統組態、軟體版本和 BIOS 設定。TPC、TPC Benchmark 和 TPC-H 為 Transaction Processing Performance Council 的商標。
- 9xx5-169：Llama-3.3-70B 定延遲上限輸送量（有效輸送量）結果是根據 2025 年 5 月 14 日 AMD 內部測試計算而得。測試組態：llama-3.3-70B，vLLM API S v1.0，資料集：Sonnet3.5-SlimOrcaDedupCleaned，TP8，最多 512 個請求（動態批次處理），出現第一個符元的時間設有延遲上限（300 毫秒、400 毫秒、500 毫秒、600 毫秒），OpenMP 128，結果的單位為符元數/秒。雙路 AMD EPYC 9575F（總計 128 核心，400 W TDP，生產環境系統，1.5 TB 24x64 GB DDR5-6400，運轉速度為 6000 MT/s，2 個 25 GbE ConnectX-6 Lx MT2894，4 個 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe；作業系統碟 Micron_7450_MTFDKCC800TFS 800GB NVMe，Ubuntu 22.04.3 LTS，kernel=5.15.0-117-generic，BIOS 3.2，SMT=OFF，Determinism=power，mitigations=off）搭配 8 個 NVIDIA H100。雙路 Intel Xeon 8592+（總計 128 核心，350 W TDP，生產環境系統，1 TB 16x64 GB DDR5-5600，2 個 25 GbE ConnectX-6 Lx (MT2894)，4 個 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Micron_7450_MTFDKBA480TFR 480GB NVMe，Ubuntu 22.04.3 LTS，kernel-5.15.0-118-generic，SMT=OFF，效能偏好，Mitigations=off）搭配 8 個 NVIDIA H100。結果：處理器 300 400 500 600；8592+ 0 126.43 1565.65 1987.19；9575F 346.11 2326.21 2531.38 2572.42；相對倍率 NA 18.40 1.62 1.29。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。Intel TDP 資訊取自 ark.intel.com
- 9xx5-013：MLPerf™ Inference 官方分數 v4.1 Llama2-70B-99.9 伺服器每秒字符數與離線每秒字符數結果，係取自 https://mlcommons.org/benchmarks/inference-datacenter/ 中的下列條目（造訪日期：2024 年 9 月 1 日）：4.1-0070 (preview) 和 4.1.0022。MLPerf™ 名稱和標誌是 MLCommons Association 在美國和其他國家/地區的商標。保留所有權利。嚴禁未經授權的使用行為。如需更多資訊，請參閱 www.mlcommons.org。
- GD-183A：不同世代和/或系列的 EPYC™ 處理器具有不同的 AMD Infinity Guard 功能。伺服器 OEM 和/或雲端服務供應商必須啟用 Infinity Guard 安全性功能才能執行。請諮詢您的 OEM 或供應商，以確認是否支援這些功能。如需瞭解更多關於 Infinity Guard 的資訊，請前往 https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html。
- 9xx5-152A：DeepSeek-R1-671B 輸送量結果係依據截至 2025 年 1 月 28 日的 AMD 內部測試結果。組態：llama.cpp 架構，1.58 位元量化（UD_IQ1_S，MoE 1.56 位元），批次大小為 1 和 4，16 核心實體，使用案例輸入/輸出符元組態：[聊天機器人 = 128/128，論文 = 128/1024，摘要 = 1024/128，改寫 = 1024/1024]。雙路 AMD EPYC 9965（總計 384 核心，500 W TDP，參考系統，3 TB 24x128 GB DDR5-6400，2 x 40 GbE Mellanox CX-7 (MT2910)，3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Ubuntu® 22.04.3 LTS | 5.15.0-105-generic，SMT=ON，Determinism=power，Mitigations=on）；雙路 AMD EPYC 9755（總計 256 核心，500 W TDP，參考系統，3 TB 24x128 GB DDR5-6400，2 x 40 GbE Mellanox CX-7 (MT2910)， 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Ubuntu® 22.04.3 LTS | 5.15.0-105-generic，SMT=ON，Determinism=power，Mitigations=on）；雙路 Intel Xeon 6980P（總計 256 核心，500 W TDP，生產環境系統，3 TB 24x64 GB DDR5-6400，4 x 1GbE Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe，3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe，Ubuntu 24.04.2 LTS | 6.13.2-061302-generic，SMT=ON，效能偏好，Mitigations=on）。結果：批次大小=1 6980P 9755 9965 9755_相對倍率 9965_相對倍率 聊天機器人 47.31 61.88 70.344 1.308 1.487 論文 42.97 56.04 61.608 1.304 1.434 摘要 44.99 59.39 62.304 1.32 1.385 改寫 41.8 68.44 55.08 1.637 1.318 批次大小=4 6980P 9755 9755_相對倍率 9965_相對倍率 聊天機器人 76.01 104.46 143.496 1.374 1.888 論文 67.89 93.68 116.064 1.38 1.71 摘要 70.88 103.39 99.96 1.459 1.41 改寫 65 87.9 78.12 1.352 1.202。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 此比較結果是根據截至 2024 年 10 月 10 日為止的資料，比較樣本是當下市面上有實際出貨的伺服器，所考慮的指標有執行緒密度、效能、功能、製程技術和內建安全性功能。EPYC 9005 系列處理器提供最高的執行緒密度 [EPYC-025B]，並以超過 500 項效能世界紀錄領先業界 [EPYC-023F]，包括創世界紀錄的企業級 Java® ops/sec 領先效能 [EPYCWR-20241010-260]、穩坐 HPC 領域龍頭的浮點輸送量效能 [EPYCWR-2024-1010-381]、以優異 TPCx-AI 效能展現的端對端 AI 效能 [EPYCWR-2024-1010-525]，以及最高能效評分 [EPYCWR-20241010-326]。第 5 代 EPYC 系列還擁有多 50% 的 DDR5 記憶體通道數 [EPYC-033C] 與高 70% 的記憶體頻寬 [EPYC-032C]，支援多 70% 的 PCIe® Gen5 通道數，而有益於 I/O 輸送量 [EPYC-035C]，擁有最多 5 倍的 L3 快取/核心 [EPYC-043C]，可加快資料存取，採用先進的 3-4 奈米製程技術，並支援安全記憶體加密 + 安全加密虛擬化 (SEV) + SEV 加密狀態 + SEV 安全巢狀分頁等安全性功能。如需詳細資訊，請參閱 AMD EPYC 架構白皮書 (https://library.amd.com/l/3f4587d147382e2/)。
- 9xx5-164：FAISS（每小時的執行量）輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。FAISS 組態：v1.8.0，sift1m Data Set，32 核心實體，FP32。雙路 AMD EPYC 9965（總計 384 核心），1.5 TB 24x64 GB DDR5-6400（以 6000 MT/s 運作），1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 5.15 內核，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1；雙路 AMD EPYC 9755（總計 256 核心），1.5 TB 24x64 GB DDR5-6400（以 6000 MT/s 運作），1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.4 LTS，Linux 5.15 內核，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1；雙路 Xeon 6980P（總計 256 核心），1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2TB，Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic，BIOS 1.0，（SMT=off，mitigations=on，效能偏好）。結果：輸送量 相對倍率 雙路 6980P 36.63 1 雙路 9755 46.86 1.279 雙路 9965 58.6 1.600。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-162：XGBoost（每小時的執行量）輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。XGBoost 組態：v1.7.2，Higgs Data Set，32 核心實體，FP32。雙路 AMD EPYC 9965（總計 384 核心），1.5 TB 24x64 GB DDR5-6400（以 6000 MT/s 運作），1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 5.15 內核，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1；雙路 AMD EPYC 9755（總計 256 核心），1.5 TB 24x64 GB DDR5-6400（以 6000 MT/s 運作），1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.4 LTS，Linux 5.15 內核，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1；雙路 Xeon 6980P（總計 256 核心），1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2TB，Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic，BIOS 1.0（SMT=off，mitigations=on，效能偏好）。結果：處理器 輸送量 相對倍率 雙路 6980P 400 1 雙路 9755 436 1.090 雙路 9965 771 1.928。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-156：Llama3.1-8B 輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。Llama3.1-8B 組態：BF16，批次大小 32，32C 實體，使用案例輸入/輸出字符數組態：[摘要 = 1024/128，聊天機器人 = 128/128，翻譯 = 1024/1024，論文 = 128/1024]。雙路 AMD EPYC 9965（總計 384 核心），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 6.9.0-060900-generic，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1，ZenDNN 5.0.1；雙路 AMD EPYC 9755（總計 256 核心），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.4 LTS，Linux 6.8.0-52-generic，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1，ZenDNN 5.0.1；雙路 Xeon 6980P（總計 256 核心），AMX 開啟，1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2 TB，Ubuntu 22.04.1 LTS，Linux 6.8.0-52-generic，BIOS 1.0（SMT=off，mitigations=on，效能偏好）。IPEX 2.6.0 結果：處理器 6980P 9755 9965 摘要 1 n/a 1.093 翻譯 1 1.062 1.334 論文 1 n/a 1.14。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-158：GPT-J-6B 輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。GPT-J-6B 組態：BF16，批次大小 32，32C 實體，使用案例輸入/輸出字符數組態：[摘要 = 1024/128，聊天機器人 = 128/128，翻譯 = 1024/1024，論文 = 128/1024]。雙路 AMD EPYC 9965（總計 384 核心），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 6.9.0-060900-generic，BIOS RVOT1004A，（SMT=off，mitigations=on，Determinism=Power），NPS=1，ZenDNN 5.0.1，Python 3.10.12；雙路 AMD EPYC 9755（總計 256 核心），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.4 LTS，Linux 6.8.0-52-generic，BIOS RVOT1004A，（SMT=off，mitigations=on，Determinism=Power），NPS=1，ZenDNN 5.0.1，Python 3.10.12；雙路 Xeon 6980P（總計 256 核心），AMX 開啟，1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2TB，Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic，BIOS 1.0（SMT=off，mitigations=on，效能偏好），IPEX 2.6.0，Python 3.12.3。結果：處理器 6980P 9755 9965 摘要 1 1.034 1.279 聊天機器人 1 0.975 1.163 翻譯 1 1.021 0.93 論文 1 0.978 1.108 字幕 1 0.913 1.12 整體 1 0.983 1.114。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-166：Llama3.2-1B 輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。Llama3.3-1B 組態：BF16，批次大小 32，32C 實體，使用案例輸入/輸出字符數組態：[摘要 = 1024/128，聊天機器人 = 128/128，翻譯 = 1024/1024，論文 = 128/1024]。雙路 AMD EPYC 9965（總計 384 核心 ），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 6.9.0-060900-generic，BIOS RVOT1004A，（SMT=off，mitigations=on，Determinism=Power），NPS=1，ZenDNN 5.0.1，Python 3.10.2；雙路 Xeon 6980P（總計 256 核心），AMX 開啟，1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2TB，Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic，BIOS 1.0（SMT=off，mitigations=on，效能偏好），IPEX 2.6.0，Python 3.12.3。結果：處理器 6980P 9965 摘要 1 1.213 翻譯 1 1.364 論文 1 1.271。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-012：TPCxAI @SF30 多實體 32 核心實體大小輸送量結果是根據 AMD 執行多個 VM 實體的內部測試，資料截至 2024 年 9 月 5 日為止。彙總端對端 AI 輸送量測試是從 TPCx-AI 基準測試衍生而來，因此無法與已發佈的 TPCx-AI 結果相比，因為端對端 AI 輸送量測試結果不符合 TPCx-AI 規格。
雙路 AMD EPYC 9965（總計 384 核心），12 個 32 核心實體，NPS1，1.5 TB 24x64 GB DDR5-6400 (6000 MT/s)，1DPC，1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu® 22.04.4 LTS，6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192)，BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled)
雙路 AMD EPYC 9755（總計 256 核心），8 個 32 核心實體，NPS1，1.5 TB 24x64 GB DDR5-6400 (6000 MT/s)，1DPC，1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu 22.04.4 LTS，6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192)，BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled)
雙路 AMD EPYC 9654（總計 192 核心）6 個 32 核心實體，NPS1，1.5 TB 24x64GB DDR5-4800，1DPC，2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe，Ubuntu 22.04.3 LTS，BIOS 1006C (SMT=off, Determinism=Power)
比較雙路 Xeon Platinum 8592+（總計 128 核心），4 個 32 核心實體，AMX 開啟，1 TB 16x64 GB DDR5-5600，1DPC，1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe，3.84 TB KIOXIA KCMYXRUG3T84 NVMe，Ubuntu 22.04.4 LTS，6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192)，BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled)
成果：
處理器 中位數 相對比例 世代比較
Turin 192 核心，12 Inst 6067.531 3.775 2.278
Turin 128 核心，8 Inst 4091.85 2.546 1.536
Genoa 96 核心，6 Inst 2663.14 1.657 1
EMR 64 核心，4 Inst 1607.417 1 NA
視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。TPC、TPC Benchmark 和 TPC-C 是 Transaction Processing Performance Council 的商標。
尾註
- 9xxTCO-019[DM1] [MK2] ：這個方案包含許多假設和估算，儘管其以 AMD 內部研究和最佳近似值為基礎，但應視為僅供參考的示例，不得未經實際測試並以其作為決策依據。AMD 伺服器與溫室氣體排放 TCO（整體持有成本）估算器工具 - 1.53 版，比較搭載特定 AMD EPYC™ 處理器的伺服器解決方案，與搭載 Intel® Xeon® 處理器的伺服器解決方案，若以總效能 391,000 單位 SPECrate2017_int_base 為目標，各可節省多少成本及產生多少環境衝擊，資料截至 2025 年 9 月 30 日為止。此分析以採用雙路 Intel Xeon 128 核心 Xeon_6980P 的伺服器（SPECrate2017_int_base 分數為 2510，https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf）作為對比，比較採用雙路 AMD 192 核心 EPYC_9965 的伺服器（SPECrate2017_int_base 分數為 3230，https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf），與採用雙路 Intel Xeon 28 核心 Platinum_8280 的舊型伺服器（SPECrate2017_int_base 分數為 391，https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf）。環境影響估值之計算，是根據「2025 年國際國家特定電力係數」中的資料，可在 https://www.carbondi.com/#electricity-factors/ 查看，此分析用到的美國環保署「溫室氣體當量計算器」，是於 2024 年 9 月 4 日取得，其網址為：https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator。如需更多詳細資訊，請參閱 https://www.amd.com/claims/9xx5TCO-019。
- 9xx5-128A：SPECrate®2017_int_base 比較是基於截至 2025 年 5 月 9 日 www.spec.org 上所公佈的分數。雙路 AMD EPYC 9965（3230 SPECrate®2017_int_base，總計 384 核心，500 W TDP，$14,813 處理器價格），6.460 SPECrate®2017_int_base/處理器瓦數，0.218 SPECrate®2017_int_base/處理器價格，https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html；雙路 AMD EPYC 9755（2840 SPECrate®2017_int_base，總計 256 核心，500 W TDP，$12,984 處理器價格），5.680 SPECrate®2017_int_base/處理器瓦數，0.219 SPECrate®2017_int_base/處理器價格，https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html；雙路 Intel Xeon 6980P（2510 SPECrate®2017_int_base，總計 256 核心，500 W TDP，$12,460 處理器價格），5.020 SPECrate®2017_int_base/處理器瓦數，0.201 SPECrate®2017_int_base/處理器價格，https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html。SPEC®、SPEC CPU® 和 SPECrate® 是 Standard Performance Evaluation Corporation 的註冊商標。請參閱 www.spec.org 瞭解更多資訊。Intel 處理器 TDP 與價格資料取自 https://ark.intel.com/，造訪時間 2025 年 4 月 17 日。
- 9xx5-134：SPECpower_ssj® 2008 比較是基於截至 2025 年 4 月 30 日 www.spec.org 上所公佈的分數。雙路 AMD EPYC 9965（35920 ssj_ops/瓦，總計 384 核心，https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html），雙路 AMD EPYC 9755（29950 ssj_ops/瓦，總計 256 核心，https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html），雙路 Intel Xeon 6980P（21679 ssj_ops/瓦，總計 256 核心，https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html）。SPEC®、SPEC CPU® 和 SPECpower® 是 Standard Performance Evaluation Corporation 的註冊商標。請參閱 www.spec.org 瞭解更多資訊。
- 9xx5-151：TPCxAI @SF30 多實體，32 核心實體大小輸送量結果是根據 AMD 執行多個 VM 實體的內部測試，資料截至 2025 年 4 月 1 日為止。彙總端對端 AI 輸送量測試是從 TPCx-AI 基準測試衍生而來，因此無法與已發佈的 TPCx-AI 結果相比，因為端對端 AI 輸送量測試結果不符合 TPCx-AI 規格。雙路 AMD EPYC 9965（總 AIUCpm 6067.53，總計 384 核心，500 W TDP，AMD 參考系統，1.5 TB 24x64 GB DDR5-6400，2 x 40 GbE Mellanox CX-7 (MT2910)，3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Ubuntu® 24.04 LTS 內核 6.13，SMT=ON，Determinism=power，Mitigations=on）；雙路 AMD EPYC 9755（總 AIUCpm 4073.42，總計 256 核心，500 W TDP，AMD 參考系統，1.5 TB 24x64 GB DDR5-6400，2 x 40 GbE Mellanox CX-7 (MT2910)，3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Ubuntu 24.04 LTS 內核 6.13，SMT=ON，Determinism=power，Mitigations=on）；雙路 Intel Xeon 6980P（總 AIUCpm 3550.50，總計 256 核心，500 W TDP，生產環境系統，1.5 TB 24x64 GB DDR5-6400，4 x 1GbE Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe，3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe，Ubuntu 24.04 LTS 內核 6.13，SMT=ON，效能偏好，Mitigations=on）。結果可能會因各種因素而有不同，包括但不限於系統組態、軟體版本和 BIOS 設定。TPC、TPC Benchmark 和 TPC-H 為 Transaction Processing Performance Council 的商標。
- 9xx5-169：Llama-3.3-70B 定延遲上限輸送量（有效輸送量）結果是根據 2025 年 5 月 14 日 AMD 內部測試計算而得。測試組態：llama-3.3-70B，vLLM API S v1.0，資料集：Sonnet3.5-SlimOrcaDedupCleaned，TP8，最多 512 個請求（動態批次處理），出現第一個符元的時間設有延遲上限（300 毫秒、400 毫秒、500 毫秒、600 毫秒），OpenMP 128，結果的單位為符元數/秒。雙路 AMD EPYC 9575F（總計 128 核心，400 W TDP，生產環境系統，1.5 TB 24x64 GB DDR5-6400，運轉速度為 6000 MT/s，2 個 25 GbE ConnectX-6 Lx MT2894，4 個 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe；作業系統碟 Micron_7450_MTFDKCC800TFS 800GB NVMe，Ubuntu 22.04.3 LTS，kernel=5.15.0-117-generic，BIOS 3.2，SMT=OFF，Determinism=power，mitigations=off）搭配 8 個 NVIDIA H100。雙路 Intel Xeon 8592+（總計 128 核心，350 W TDP，生產環境系統，1 TB 16x64 GB DDR5-5600，2 個 25 GbE ConnectX-6 Lx (MT2894)，4 個 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Micron_7450_MTFDKBA480TFR 480GB NVMe，Ubuntu 22.04.3 LTS，kernel-5.15.0-118-generic，SMT=OFF，效能偏好，Mitigations=off）搭配 8 個 NVIDIA H100。結果：處理器 300 400 500 600；8592+ 0 126.43 1565.65 1987.19；9575F 346.11 2326.21 2531.38 2572.42；相對倍率 NA 18.40 1.62 1.29。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。Intel TDP 資訊取自 ark.intel.com
- 9xx5-013：MLPerf™ Inference 官方分數 v4.1 Llama2-70B-99.9 伺服器每秒字符數與離線每秒字符數結果，係取自 https://mlcommons.org/benchmarks/inference-datacenter/ 中的下列條目（造訪日期：2024 年 9 月 1 日）：4.1-0070 (preview) 和 4.1.0022。MLPerf™ 名稱和標誌是 MLCommons Association 在美國和其他國家/地區的商標。保留所有權利。嚴禁未經授權的使用行為。如需更多資訊，請參閱 www.mlcommons.org。
- GD-183A：不同世代和/或系列的 EPYC™ 處理器具有不同的 AMD Infinity Guard 功能。伺服器 OEM 和/或雲端服務供應商必須啟用 Infinity Guard 安全性功能才能執行。請諮詢您的 OEM 或供應商，以確認是否支援這些功能。如需瞭解更多關於 Infinity Guard 的資訊，請前往 https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html。
- 9xx5-152A：DeepSeek-R1-671B 輸送量結果係依據截至 2025 年 1 月 28 日的 AMD 內部測試結果。組態：llama.cpp 架構，1.58 位元量化（UD_IQ1_S，MoE 1.56 位元），批次大小為 1 和 4，16 核心實體，使用案例輸入/輸出符元組態：[聊天機器人 = 128/128，論文 = 128/1024，摘要 = 1024/128，改寫 = 1024/1024]。雙路 AMD EPYC 9965（總計 384 核心，500 W TDP，參考系統，3 TB 24x128 GB DDR5-6400，2 x 40 GbE Mellanox CX-7 (MT2910)，3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Ubuntu® 22.04.3 LTS | 5.15.0-105-generic，SMT=ON，Determinism=power，Mitigations=on）；雙路 AMD EPYC 9755（總計 256 核心，500 W TDP，參考系統，3 TB 24x128 GB DDR5-6400，2 x 40 GbE Mellanox CX-7 (MT2910)， 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe，Ubuntu® 22.04.3 LTS | 5.15.0-105-generic，SMT=ON，Determinism=power，Mitigations=on）；雙路 Intel Xeon 6980P（總計 256 核心，500 W TDP，生產環境系統，3 TB 24x64 GB DDR5-6400，4 x 1GbE Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe，3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe，Ubuntu 24.04.2 LTS | 6.13.2-061302-generic，SMT=ON，效能偏好，Mitigations=on）。結果：批次大小=1 6980P 9755 9965 9755_相對倍率 9965_相對倍率 聊天機器人 47.31 61.88 70.344 1.308 1.487 論文 42.97 56.04 61.608 1.304 1.434 摘要 44.99 59.39 62.304 1.32 1.385 改寫 41.8 68.44 55.08 1.637 1.318 批次大小=4 6980P 9755 9755_相對倍率 9965_相對倍率 聊天機器人 76.01 104.46 143.496 1.374 1.888 論文 67.89 93.68 116.064 1.38 1.71 摘要 70.88 103.39 99.96 1.459 1.41 改寫 65 87.9 78.12 1.352 1.202。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 此比較結果是根據截至 2024 年 10 月 10 日為止的資料，比較樣本是當下市面上有實際出貨的伺服器，所考慮的指標有執行緒密度、效能、功能、製程技術和內建安全性功能。EPYC 9005 系列處理器提供最高的執行緒密度 [EPYC-025B]，並以超過 500 項效能世界紀錄領先業界 [EPYC-023F]，包括創世界紀錄的企業級 Java® ops/sec 領先效能 [EPYCWR-20241010-260]、穩坐 HPC 領域龍頭的浮點輸送量效能 [EPYCWR-2024-1010-381]、以優異 TPCx-AI 效能展現的端對端 AI 效能 [EPYCWR-2024-1010-525]，以及最高能效評分 [EPYCWR-20241010-326]。第 5 代 EPYC 系列還擁有多 50% 的 DDR5 記憶體通道數 [EPYC-033C] 與高 70% 的記憶體頻寬 [EPYC-032C]，支援多 70% 的 PCIe® Gen5 通道數，而有益於 I/O 輸送量 [EPYC-035C]，擁有最多 5 倍的 L3 快取/核心 [EPYC-043C]，可加快資料存取，採用先進的 3-4 奈米製程技術，並支援安全記憶體加密 + 安全加密虛擬化 (SEV) + SEV 加密狀態 + SEV 安全巢狀分頁等安全性功能。如需詳細資訊，請參閱 AMD EPYC 架構白皮書 (https://library.amd.com/l/3f4587d147382e2/)。
- 9xx5-164：FAISS（每小時的執行量）輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。FAISS 組態：v1.8.0，sift1m Data Set，32 核心實體，FP32。雙路 AMD EPYC 9965（總計 384 核心），1.5 TB 24x64 GB DDR5-6400（以 6000 MT/s 運作），1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 5.15 內核，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1；雙路 AMD EPYC 9755（總計 256 核心），1.5 TB 24x64 GB DDR5-6400（以 6000 MT/s 運作），1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.4 LTS，Linux 5.15 內核，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1；雙路 Xeon 6980P（總計 256 核心），1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2TB，Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic，BIOS 1.0，（SMT=off，mitigations=on，效能偏好）。結果：輸送量 相對倍率 雙路 6980P 36.63 1 雙路 9755 46.86 1.279 雙路 9965 58.6 1.600。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-162：XGBoost（每小時的執行量）輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。XGBoost 組態：v1.7.2，Higgs Data Set，32 核心實體，FP32。雙路 AMD EPYC 9965（總計 384 核心），1.5 TB 24x64 GB DDR5-6400（以 6000 MT/s 運作），1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 5.15 內核，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1；雙路 AMD EPYC 9755（總計 256 核心），1.5 TB 24x64 GB DDR5-6400（以 6000 MT/s 運作），1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.4 LTS，Linux 5.15 內核，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1；雙路 Xeon 6980P（總計 256 核心），1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2TB，Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic，BIOS 1.0（SMT=off，mitigations=on，效能偏好）。結果：處理器 輸送量 相對倍率 雙路 6980P 400 1 雙路 9755 436 1.090 雙路 9965 771 1.928。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-156：Llama3.1-8B 輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。Llama3.1-8B 組態：BF16，批次大小 32，32C 實體，使用案例輸入/輸出字符數組態：[摘要 = 1024/128，聊天機器人 = 128/128，翻譯 = 1024/1024，論文 = 128/1024]。雙路 AMD EPYC 9965（總計 384 核心），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 6.9.0-060900-generic，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1，ZenDNN 5.0.1；雙路 AMD EPYC 9755（總計 256 核心），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.4 LTS，Linux 6.8.0-52-generic，BIOS RVOT1004A，(SMT=off，mitigations=on，Determinism=Power)，NPS=1，ZenDNN 5.0.1；雙路 Xeon 6980P（總計 256 核心），AMX 開啟，1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2 TB，Ubuntu 22.04.1 LTS，Linux 6.8.0-52-generic，BIOS 1.0（SMT=off，mitigations=on，效能偏好）。IPEX 2.6.0 結果：處理器 6980P 9755 9965 摘要 1 n/a 1.093 翻譯 1 1.062 1.334 論文 1 n/a 1.14。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-158：GPT-J-6B 輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。GPT-J-6B 組態：BF16，批次大小 32，32C 實體，使用案例輸入/輸出字符數組態：[摘要 = 1024/128，聊天機器人 = 128/128，翻譯 = 1024/1024，論文 = 128/1024]。雙路 AMD EPYC 9965（總計 384 核心），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 6.9.0-060900-generic，BIOS RVOT1004A，（SMT=off，mitigations=on，Determinism=Power），NPS=1，ZenDNN 5.0.1，Python 3.10.12；雙路 AMD EPYC 9755（總計 256 核心），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.4 LTS，Linux 6.8.0-52-generic，BIOS RVOT1004A，（SMT=off，mitigations=on，Determinism=Power），NPS=1，ZenDNN 5.0.1，Python 3.10.12；雙路 Xeon 6980P（總計 256 核心），AMX 開啟，1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2TB，Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic，BIOS 1.0（SMT=off，mitigations=on，效能偏好），IPEX 2.6.0，Python 3.12.3。結果：處理器 6980P 9755 9965 摘要 1 1.034 1.279 聊天機器人 1 0.975 1.163 翻譯 1 1.021 0.93 論文 1 0.978 1.108 字幕 1 0.913 1.12 整體 1 0.983 1.114。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-166：Llama3.2-1B 輸送量結果係依據截至 2025 年 4 月 8 日的 AMD 內部測試結果。Llama3.3-1B 組態：BF16，批次大小 32，32C 實體，使用案例輸入/輸出字符數組態：[摘要 = 1024/128，聊天機器人 = 128/128，翻譯 = 1024/1024，論文 = 128/1024]。雙路 AMD EPYC 9965（總計 384 核心 ），1.5 TB 24x64 GB DDR5-6400，1.0 Gbps NIC，3.84 TB Samsung MZWLO3T8HCLS-00A07，Ubuntu® 22.04.5 LTS，Linux 6.9.0-060900-generic，BIOS RVOT1004A，（SMT=off，mitigations=on，Determinism=Power），NPS=1，ZenDNN 5.0.1，Python 3.10.2；雙路 Xeon 6980P（總計 256 核心），AMX 開啟，1.5 TB 24x64 GB DDR5-8800 MRDIMM，10GBASE-T 型 1.0 Gbps 乙太網路控制器 X710，Micron_7450_MTFDKBG1T9TFR 2TB，Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic，BIOS 1.0（SMT=off，mitigations=on，效能偏好），IPEX 2.6.0，Python 3.12.3。結果：處理器 6980P 9965 摘要 1 1.213 翻譯 1 1.364 論文 1 1.271。結果可能會因系統組態、軟體版本和 BIOS 設定等因素而有不同。
- 9xx5-012：TPCxAI @SF30 多實體 32 核心實體大小輸送量結果是根據 AMD 執行多個 VM 實體的內部測試，資料截至 2024 年 9 月 5 日為止。彙總端對端 AI 輸送量測試是從 TPCx-AI 基準測試衍生而來，因此無法與已發佈的 TPCx-AI 結果相比，因為端對端 AI 輸送量測試結果不符合 TPCx-AI 規格。
雙路 AMD EPYC 9965（總計 384 核心），12 個 32 核心實體，NPS1，1.5 TB 24x64 GB DDR5-6400 (6000 MT/s)，1DPC，1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu® 22.04.4 LTS，6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192)，BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled)
雙路 AMD EPYC 9755（總計 256 核心），8 個 32 核心實體，NPS1，1.5 TB 24x64 GB DDR5-6400 (6000 MT/s)，1DPC，1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu 22.04.4 LTS，6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192)，BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled)
雙路 AMD EPYC 9654（總計 192 核心）6 個 32 核心實體，NPS1，1.5 TB 24x64GB DDR5-4800，1DPC，2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe，Ubuntu 22.04.3 LTS，BIOS 1006C (SMT=off, Determinism=Power)
比較雙路 Xeon Platinum 8592+（總計 128 核心），4 個 32 核心實體，AMX 開啟，1 TB 16x64 GB DDR5-5600，1DPC，1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe，3.84 TB KIOXIA KCMYXRUG3T84 NVMe，Ubuntu 22.04.4 LTS，6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192)，BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled)
成果：
處理器 中位數 相對比例 世代比較
Turin 192 核心，12 Inst 6067.531 3.775 2.278
Turin 128 核心，8 Inst 4091.85 2.546 1.536
Genoa 96 核心，6 Inst 2663.14 1.657 1
EMR 64 核心，4 Inst 1607.417 1 NA
視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。TPC、TPC Benchmark 和 TPC-C 是 Transaction Processing Performance Council 的商標。