新聞汽車
電腦視覺模型有助於推動自動駕駛車輛，可協助辨識要避開的看板、行人和其他車輛。自然語言處理模型有助於辨識車內智慧車載系統所接獲的指令。
精選網路研討會
瞭解 AMD EPYC™ 9004 系列處理器如何讓您部署處理器型 AI 處理能力，有效率地處理小型 AI 模型、許多傳統 ML 和推論工作負載，以及 AI 擴增的傳統運算工作負載。
可因應企業 AI 推論工作負載的領導產品組合
AI 推論使用經過訓練的 AI 模型，對新資料進行預測。 AMD 根據您的模型大小和應用程式要求，提供一系列的 AI 推論解決方案。 AMD EPYC™ 處理器很適合中小型 AI 模型和工作負載，鄰近資料是這類工作的關鍵。AMD Instinct™ 顯示卡則可在大型模型以及需要極高效能與擴充性的專用 AI 部署上大放異彩這些往往。兩者都能提供令人驚豔的效能與效率，可讓您選擇最符合需求的解決方案。
- 小型
- 中型
- 大型
小型模型
| 模型大小 | 類型 | 優點 | 缺點 | 一般使用案例 |
| 小型 | 傳統 |
|
|
|
| 生成式 |
|
|
|
中型模型
| 模型大小 | 類型 | 優點 | 缺點 | 一般使用案例 |
| 中型 | 傳統 |
|
|
|
| 預測性 |
|
|
|
大型模型
| 模型大小 | 類型 | 優點 | 缺點 | 一般使用案例 |
| 大型 | 生成式 |
|
|
|
| 傳統 |
|
|
|
|
| 預測性 |
|
|
|
應用與產業
整合在電腦視覺、自然語言處理和推薦系統中的 AI 模型，已對多種產業的企業造成顯著的影響。這些模型可協助公司辨識物體、分類異常狀況、瞭解書面文字與語音文字，以及提出建議。藉由加速開發這些模型，各行各業的企業都能從中獲益。
企業 AI 推論工作負載的理想選擇
無論是部署為單純的處理器，或當作指揮中樞，從旁控管顯示卡對於較大型模型的執行，AMD EPYC™ 9004 系列處理器都是以最新的開放標準技術設計而成，可加速企業 AI 推論工作負載。
- 硬體
- 軟體
- 安全性
專為 AI 推論而設計的架構
多達 128 個 AMD “Zen 4” 核心 ，搭配 AVX-512 指令支援，為 AI 推論工作負載提供優異的平行處理能力，減少對顯示卡加速的需求。
優異的能效：AMD EPYC 處理器支援最節能的伺服器，提供卓越的效能並協助降低能源成本。1
快速的處理與 I/O：與前一代相比，每時脈週期指令數增加 14%，且支援 DDR5 記憶體與 PCIe® 第 5 代 I/O，提供快速的資料處理。2
適用於 AI 推論的 AMD 軟體最佳化
架構支援：AMD 支援最受歡迎的 AI 架構，包括 TensorFlow、PyTorch 與 ONNX Runtime，範圍橫跨影像分類和推薦引擎等多種使用案例。
開放原始碼與相容性：最佳化功能已整合至常見的架構中，提供廣泛的相容性與開放原始碼的上游友善性。 此外，AMD 也與 Hugging Face 合作，搭配 ZenDNN 打造開箱即用的開放原始碼模型。
ZenDNN 外掛程式：這些外掛程式透過最佳化運算子、利用微核心，以及在 AMD EPYC 核心上執行有效率的多執行緒處理，加速 AI 推論工作負載。
影像縮放
在 AI 的時代，資料安全性更為重要
數位化、雲端運算、AI 和其他新興技術的使用帶動了資料的成長，對進階安全措施的需求也變得更加迫切。由於全球對於隱私權法規日益重視，又對資料外洩祭出嚴重罰則，因此原已升溫的安全性需求又被進一步放大，在安全風險增加的大環境下，更凸顯出資料無與倫比的價值。
內建於矽晶層級的 AMD Infinity Guard，可提供抵禦內部和外部威脅所需的進階功能，並協助保護您的資料安全。3
採用 AMD EPYC™ 9004 處理器的伺服器和雲端實體，能在靠近您的客戶和資料的地方，提供快速、有效率、採用 AI 技術的解決方案。
小型/中型 AI 工作負載模型
執行 Llama2-7B CHAT-HF 和 13B CHAT-HF LLM⁴ 的雙路伺服器（每秒字符數的相對比例）
1.36 倍
1.0 倍
執行 Phi-3 Mini (4K)⁵ 的雙路伺服器（每秒字符數的相對比例）
1.24 倍
1.0 倍
以 Int8 精度⁶ 執行 DLRMv2 的 AWS 實體
~1.44 倍
1.0 倍
以 FP32 精度⁷，透過 PyTorch 與 Neural Magic Deepsparse 引擎，執行 MiniLM 的 AWS 實體
~1.78 倍
1.0 倍
以 BF16 精度⁸ 執行 Llama2-7B 的 AWS 實體
~1.19 倍
1.0 倍
傳統 ML 工作負載模型
執行叢集化 FAISS⁹ 的雙路伺服器（叢集化/秒）
最高 ~2.0 倍
1.0 倍
搭配希格斯玻色子爆炸¹⁰ 執行 XGBoost 的雙路伺服器（輸送量）
最高 ~1.7 倍
1.0 倍
在隨機決策森林（SciKit-Learning RandomForest airline_ohe 輸送量）¹¹ 執行分類的雙路伺服器
高達 ~1.36 倍
1.0 倍
執行 OpenVINO™ Road¹² Segmentation 推論的雙路伺服器（每處理器瓦數的每秒影格數）
最高 ~2.4 倍
1.0 倍
執行 TPCx-AI @ SF30¹³ 的雙路伺服器（輸送量/分鐘）
最高 ~1.65 倍
1.0 倍
資源
尾註
- EPYC-028D：SPECpower_ssj® 2008、SPECrate®2017_int_energy_base 和 SPECrate®2017_fp_energy_base 基於截至 2024 年 2 月 21 日 SPEC 網站上公佈的結果。以 VMmark® 伺服器功耗-效能/伺服器和儲存功耗-效能 (PPKW) 為基礎的結果，公佈於以下網站：https://www.vmware.com/products/vmmark/results3x.1.html?sort=score。在排名前 105 位的 SPECpower_ssj®2008 出版品中，最高總效率 overall ssj_ops/W 結果都採用 AMD EPYC 處理器。對於 SPECrate®2017 Integer（能源庫），AMD EPYC 處理器為 SPECrate®2017_int_energy_base 效能/系統 W 分數的前 8 名提供動力。對於 SPECrate®2017 Floating Point（能源庫），AMD EPYC 處理器為 SPECrate®2017_fp_energy_base 效能/系統 W 分數的前 12 名提供動力。在 VMmark® 伺服器功耗-效能 (PPKW) 方面，前 5 名是與 2 插槽和 4 插槽伺服器配對的結果，優於所有與其他插槽配對的結果，並且在 VMmark® 伺服器和儲存功耗-效能 (PPKW) 方面的總得分最高。請參閱 https://www.amd.com/en/claims/epyc4#faq-EPYC-028D 瞭解完整清單。有關 AMD 永續性目標的更多資訊，請參閱：https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html。有關 SPEC® 的更多資訊，請造訪 http://www.spec.org。SPEC、SPECrate 和 SPECpower 為 Standard Performance Evaluation Corporation 的註冊商標。VMmark 是 VMware 在美國和其他國家/地區的註冊商標。
- EPYC-038：根據截至 2022 年 9 月 19 日的 AMD 內部測試。使用特定一組工作負載（33 個，包括 est. SPECrate®2017_int_base、est. SPECrate®2017_fp_base 與代表性伺服器工作負載）時，相較於第 3 代 AMD EPYC™ 7763 處理器，第 4 代 AMD EPYC™ 9554 處理器在相同固定頻率下的幾何平均數效能有所提升。SPEC® 和 SPECrate® 是 Standard Performance Evaluation Corporation 的註冊商標。更多詳情請參閱 spec.org。
- GD-183A 不同世代和/或系列的 EPYC™ 處理器具有不同的 AMD Infinity Guard 功能。伺服器 OEM 和/或雲端服務供應商必須啟用 Infinity Guard 安全性功能才能執行。請諮詢您的 OEM 或供應商，以確認是否支援這些功能。如需瞭解更多有關 Infinity Guard 的資訊，請造訪 https://www.amd.com/en/technologies/infinity-guard
- SP5-222：Llama2 字符數/秒的工作負載聲稱係根據截至 2023 年 12 月 1 日為止的 AMD 內部測試。雙路伺服器配置：雙路 EPYC 9654 (96C/192T)，BIOS AMI RTI1001C（NPS=1，功率決定模式，SMT = 關閉），記憶體：1.5 TB (24x 64 GB DDR5-4800)，儲存：NVMe 3.2T x 5 + NVMe 1T，OS：Ubuntu 22.04.2 LTS (Linux 5.15.0-84-generic)，軟體：Python 3.9.18、conda 4.12.0、huggingface-hub 0.17.3、intel-openmp 2023.2.0、mkl 2023.2.0、numpy 1.26.1、sentencepiece 0.1.99、tokenizers 0.14.1 torch 2.1.0+cpu、tpp-pytorch-extension 0.0.1、transformers 4.35.0，執行 24 個實體分數高達平均 27.24 個字符/秒（Llama2-13B-CHAT-HF，輸入字符大小：8，bfloat16），以及高達平均 52.89 個字符/秒（Llama2-7B-CHAT-HF，輸入大小：8，bfloat16），效能是雙路 Xeon Platinum 8480+ (56C/112T) 的 1.36 倍，其配置為：BIOS ESE110Q-1.10（設定檔 = 最高效能，HT = 關閉），1 TB (16x 64 GB DDR5-4800)，儲存：NVMe 3.2T x 4，OS：Ubuntu 22.04.3 LTS (Linux 5.15.0-88-generic)，軟體：Python 3.9.18、conda 4.12.0、huggingface-hub 0.17.3、intel-openmp 2023.2.0、mkl 2023.2.0、numpy 1.26.1、sentencepiece 0.1.99、tokenizers 0.14.1 torch 2.1.0+cpu、tpp-pytorch-extension 0.0.1、transformers 4.35.0，執行 14 實體分數高達 20.08 平均 Token/秒（Llama2-13B-CHAT-HF，輸入 Token 大小：8，bfloat16），以及高達平均 38.98 個字符/秒 (Llama2-7B-CHAT-HF，輸入字符大小：8，bfloat16）。視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。
- TBD "SP5-289：Phi-3-mini 輸送量結果係依據截至 2024 年 6 月 10 日的 AMD 內部測試結果。
Phi-3-mini 組態：單一實體，IPEX 2.3.0，BF16，批次大小 1，輸入字符 16，輸出字符 32。
伺服器配置：
雙路 EPYC 9654 (96C/192T)，Lenovo ThinkSystem SR665 V3，（SMT = 關閉，NPS = 1，功率決定模式，BIOS 1.56），1.5 TB（24x 64 GB DDR5-5600 以 4800 MT/s 執行），3.2 TB SSD，Ubuntu® 22.04.4 LTS。
雙路 Xeon Platinum 8592+ (64C/128T)，Lenovo ThinkSystem SR650 V3（HT = 關閉，NPS-1，啟用加速，設定檔 = 最高效能，BIOS ESE122V-3.10），1TB (16x 64 GB DDR5-4800)，3.2TB NVMe，Ubuntu 22.04.4 LTS，AMX 開啟。
結果，Phi-3-mini 4K：
中位分數 相對於 EMR 的比例
Intel 8592+ 12.63 1.00
AMD EPYC 9654 15.68 1.241
結果，Phi-3-mini 128K
中位分數 相對於 EMR 的比例
Intel 8592+ 13.92 1
AMD EPYC 9654 15.21 1.093
- SP5C-065：與 M7i.48xl 相比，AWS HPC7a.96xlarge 平均分數和雲端 OpEx 的成本節省。兩者皆執行深度學習建議模型 (dlrm-v2.99)，批次大小 = 2000，採用 Int8 精度，使用 OneDNN 庫搭配 IPEX 延伸功能。根據截至 2024 年 6 月 11 日為止的以量計價美國東部（俄亥俄州）Linux® 定價， M7i.48xl：$9.6768 / 小時，HPC7a.96xlarge：$7.20 / 小時。AWS 定價：https://aws.amazon.com/ec2/pricing/on-demand/
顯示的雲端效能結果是根據配置中的測試日期而定。結果可能會因基礎組態的變更以及其他條件而有不同，例如 VM 及其資源的放置、雲端服務供應商所作的最佳化、存取的雲端地區、共同租用戶，以及系統上同時執行的其他工作負載類型。
- SP5C-070：與 m7i.48xl 相比，AWS m7a.48xl 平均分數和雲端 OpEx 的成本節省。兩者皆執行 HuggingFace 的 all-MiniLM-L6-v2model，在 PyTorch 和 Neural Magic Deepsparse 引擎上執行，24 個平行執行，批次大小 = 1，輸入字符大小 = 512，輸出字符大小 = 128，採用 FP32 精度。根據截至 2024 年 7 月 15 日為止的以量計價美國東部（俄亥俄州）Linux® 定價，m7i.48xl：$9.6768 / 小時， m7a.48xl：$11.12832 / 小時。
AWS 定價：https://aws.amazon.com/ec2/pricing/on-demand/
顯示的雲端效能結果是根據配置中的測試日期而定。結果可能會因基礎配置的變更以及其他條件而有不同，例如 VM 及其資源的放置、雲端服務供應商所作的最佳化、存取的雲端地區、共同租用戶，以及系統上同時執行的其他工作負載類型
- SP5C-071：AWS M7a.8xl 平均分數和雲端 OpEx 的成本節省，相較於在 Intel TPP 程式庫的單一實體上使用 BF16 的 7B 參數執行 Llama2 模型的 m7i.8xl，批次大小 = 4，輸入 Token 大小 = 2016，輸出 Token 大小 = 256。
顯示的雲端效能結果是根據配置中的測試日期而定。結果可能會因基礎組態的變更以及其他條件而有不同，例如 VM 及其資源的放置、雲端服務供應商所作的最佳化、存取的雲端地區、共同租用戶，以及系統上同時執行的其他工作負載類型。
- SP5C-060：與 M7i.4xl 相比，AWS m7a.4xl 平均分數和雲端 OpEx 的成本節省。兩者皆執行 BERT-Large- pruned80_quant-none.vnni 模型，採用 FP32 精度 ，批次大小 = 1、128、256，輸入字符大小 = 512，輸出字符大小 = 512。根據截至 2024 年 6 月 11 日為止的以量計價美國東部（俄亥俄州）Linux® 價格，M7i.4xl：$0.8064 / 小時M7a.4xl：$0.92736 / 小時顯示的雲端效能結果是根據配置中的測試日期而定。結果可能會因基礎組態的變更以及其他條件而有不同，例如 VM 及其資源的放置、雲端服務供應商所作的最佳化、存取的雲端地區、共同租用戶，以及系統上同時執行的其他工作負載類型。
- SP5-185A：FAISS v1.7-4 1000 輸送量工作負載之聲稱，係根據 AMD 截至 2024 年 4 月 19 日為止的內部測試。雙路伺服器配置：雙路 EPYC 9654 (96C/96T)（BIOS 1006C（SMT = 關閉，NPS = 1，功率決定模式），1.5 TB（24 個 64GB DDR5-4800），Samsung MZQL21T9HCJR-00A07 1.92 TB，Ubuntu®22.04.3 LTS，執行 8 個實體 /24 核心/實體，中位數輸送量分數為 39.6）的效能為雙路 Xeon Platinum 8592+ (64C/64T)（BIOS 1.4.4（HT = 關閉，設定檔 = 最高效能），1 TB（16 個 64GB DDR5-4800），Intel SSDPF2KE032T1O 3.2 TB NVMe，Ubuntu 22.04.3 LTS，執行 8 個實體/16 核心/實體，中位數輸送量分數為 19.4）的 2.04 倍。視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。
- SP5-251：XGBoost 2.0.3 輸送量工作負載之聲稱，係根據 AMD 截至 2024 年 4 月 19 日為止的內部測試。雙路伺服器配置：雙路 EPYC 9654 (96C/192T)（BIOS 1006C（SMT = 關閉，NPS = 1，功率決定模式），1.5 TB（24 個 64 GB DDR5-4800），Samsung MZQL21T9HCJR-00A07 1.92 TB，Ubuntu 22.04.3 LTS ）航空中位數輸送量分數為 203（執行 16 個實體 /12 核心/實體），希格斯玻色子中位數輸送量分數為 2057（執行 32 個實體 /6 核心/實體），效能分別為雙路 Xeon Platinum 8592+ (64C/128T)（BIOS 1.4.4（HT = 關閉，設定檔 = 最高效能），1 TB（16 個 64 GB DDR5-4800），Intel SSDPF2KE032T1O 3.2TB NVMe，Ubuntu 22.04.3 LTS）（執行 8 個實體/16 核心/實體，航空中位數輸送量分數為 147，以及執行 4 個實體/32 核心/實體，希格斯玻色子中位數輸送量分數為 1200）的 1.38 倍和 1.71 倍。視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。
- SP5-184A：SciKit-Learning Random Forest v2023.2 airline_ohe 資料集輸送量工作負載之宣稱，係根據 AMD 於 2024 年 4 月 19 日的內部測試。雙路伺服器配置：雙路 EPYC 9654 (96C/96T)（BIOS 1006C（SMT = 關閉，NPS = 1，功率決定模式），1.5 TB（24 個 64GB DDR5-4800），2 個 Samsung MZQL21T9HCJR-00A07 1.7 TB，Ubuntu®22.04.3 LTS，執行 12 個實體/16 核心/實體，中位數輸送量分數為 166.8）的效能為雙路 Xeon Platinum 8592+ (64C/64T)（BIOS 1.4.4（HT = 關閉，設定檔 = 最高效能），1 TB（16 個 64GB DDR5-4800），Intel SSDPF2KE032T1O 3.2 TB NVMe，Ubuntu 22.04.3 LTS，執行 8 個實例/16 個核心/實體，中位數輸送量分數為 123.1）的 1.36 倍。視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。
- SP5-252: 第三方測試 OpenVINO 2023.2.dev FPS 比較係根據截至 2023 年 12 月 14 日為止之 Phoronix 對下列特定 OpenVINO 測試之評測 (https://www.phoronix.com/review/intel-xeon-platinum-8592/9)：Vehicle Detection FP16、Person Detection FP16、Person Vehicle Bike Detection FP16、Road Segmentation ADAS FP16 和 Face Detection Retail FP16。Road Segmentation ADAS FP16 最高提升 2.36 倍。測試非由 AMD 獨立驗證。分數會因使用的系統配置和決定模式而異（使用功率決定模式）。OpenVINO 是 Intel Corporation 或其子公司的商標。
- SP5-051A：TPCx-AI SF30 衍生工作負載比較是根據 AMD 執行多個 VM 實體的內部測試，資料截至 2024 年 4 月 13 日為止。彙總端對端 AI 輸送量測試是從 TPCx-AI 基準測試衍生而來，因此無法與已發佈的 TPCx-AI 結果相比，因為端對端 AI 輸送量測試結果不符合 TPCx-AI 規格。AMD 系統配置：處理器：2 x AMD EPYC 9654；頻率：2.4 GHz | 3.7 GHz；核心：每個插槽 96 個核心（每個插槽 1 個 NUMA 域）；L3 快取：384 MB/插槽（總計 768 MB）；記憶體：1.5 TB (24) Dual-Rank DDR5-5600 64 GB DIMM，1DPC（平台支援最高 4800 MHz）；NIC：2 x 100 GbE Mellanox CX-5 (MT28800)；儲存：3.2 TB Samsung MO003200KYDNC U.3 NVMe；BIOS：1.56；BIOS 設定：SMT = 開啟，Determinism = Power，NPS = 1，PPL = 400W，渦輪加速 = 啟用；OS：Ubuntu® 22.04.3 LTS；測試配置：6 個實體，64 個 vCPU/實體，2663 個彙總 AI 使用案例/分鐘，作為比較對象之 Intel 系統配置：處理器：2 x Intel® Xeon® Platinum 8592+；頻率：1.9 GHz | 3.9 GHz；核心：每個插槽 64 個核心（每個插槽 1 個 NUMA 域）；L3 快取：320 MB/插槽（總計 640 MB）；記憶體：1 TB (16) Dual-Rank DDR5-5600 64 GB DIMM，1DPC；NIC：4 個 1GbE Broadcom NetXtreme BCM5719 Gigabit 乙太網路 PCIe；儲存：3.84 TB KIOXIA KCMYXRUG3T84 NVMe；BIOS：ESE124B-3.11；BIOS 設定：超執行緒 = 啟用，渦輪加速 = 啟用，SNC = 停用；OS：Ubuntu® 22.04.3 LTS；測試配置：4 個實體，64 個 vCPU/實體，1607 彙總 AI 使用案例/分鐘視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。 TPC、TPC Benchmark 和 TPC-C 是 Transaction Processing Performance Council 的商標。
尾註
- EPYC-028D：SPECpower_ssj® 2008、SPECrate®2017_int_energy_base 和 SPECrate®2017_fp_energy_base 基於截至 2024 年 2 月 21 日 SPEC 網站上公佈的結果。以 VMmark® 伺服器功耗-效能/伺服器和儲存功耗-效能 (PPKW) 為基礎的結果，公佈於以下網站：https://www.vmware.com/products/vmmark/results3x.1.html?sort=score。在排名前 105 位的 SPECpower_ssj®2008 出版品中，最高總效率 overall ssj_ops/W 結果都採用 AMD EPYC 處理器。對於 SPECrate®2017 Integer（能源庫），AMD EPYC 處理器為 SPECrate®2017_int_energy_base 效能/系統 W 分數的前 8 名提供動力。對於 SPECrate®2017 Floating Point（能源庫），AMD EPYC 處理器為 SPECrate®2017_fp_energy_base 效能/系統 W 分數的前 12 名提供動力。在 VMmark® 伺服器功耗-效能 (PPKW) 方面，前 5 名是與 2 插槽和 4 插槽伺服器配對的結果，優於所有與其他插槽配對的結果，並且在 VMmark® 伺服器和儲存功耗-效能 (PPKW) 方面的總得分最高。請參閱 https://www.amd.com/en/claims/epyc4#faq-EPYC-028D 瞭解完整清單。有關 AMD 永續性目標的更多資訊，請參閱：https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html。有關 SPEC® 的更多資訊，請造訪 http://www.spec.org。SPEC、SPECrate 和 SPECpower 為 Standard Performance Evaluation Corporation 的註冊商標。VMmark 是 VMware 在美國和其他國家/地區的註冊商標。
- EPYC-038：根據截至 2022 年 9 月 19 日的 AMD 內部測試。使用特定一組工作負載（33 個，包括 est. SPECrate®2017_int_base、est. SPECrate®2017_fp_base 與代表性伺服器工作負載）時，相較於第 3 代 AMD EPYC™ 7763 處理器，第 4 代 AMD EPYC™ 9554 處理器在相同固定頻率下的幾何平均數效能有所提升。SPEC® 和 SPECrate® 是 Standard Performance Evaluation Corporation 的註冊商標。更多詳情請參閱 spec.org。
- GD-183A 不同世代和/或系列的 EPYC™ 處理器具有不同的 AMD Infinity Guard 功能。伺服器 OEM 和/或雲端服務供應商必須啟用 Infinity Guard 安全性功能才能執行。請諮詢您的 OEM 或供應商，以確認是否支援這些功能。如需瞭解更多有關 Infinity Guard 的資訊，請造訪 https://www.amd.com/en/technologies/infinity-guard
- SP5-222：Llama2 字符數/秒的工作負載聲稱係根據截至 2023 年 12 月 1 日為止的 AMD 內部測試。雙路伺服器配置：雙路 EPYC 9654 (96C/192T)，BIOS AMI RTI1001C（NPS=1，功率決定模式，SMT = 關閉），記憶體：1.5 TB (24x 64 GB DDR5-4800)，儲存：NVMe 3.2T x 5 + NVMe 1T，OS：Ubuntu 22.04.2 LTS (Linux 5.15.0-84-generic)，軟體：Python 3.9.18、conda 4.12.0、huggingface-hub 0.17.3、intel-openmp 2023.2.0、mkl 2023.2.0、numpy 1.26.1、sentencepiece 0.1.99、tokenizers 0.14.1 torch 2.1.0+cpu、tpp-pytorch-extension 0.0.1、transformers 4.35.0，執行 24 個實體分數高達平均 27.24 個字符/秒（Llama2-13B-CHAT-HF，輸入字符大小：8，bfloat16），以及高達平均 52.89 個字符/秒（Llama2-7B-CHAT-HF，輸入大小：8，bfloat16），效能是雙路 Xeon Platinum 8480+ (56C/112T) 的 1.36 倍，其配置為：BIOS ESE110Q-1.10（設定檔 = 最高效能，HT = 關閉），1 TB (16x 64 GB DDR5-4800)，儲存：NVMe 3.2T x 4，OS：Ubuntu 22.04.3 LTS (Linux 5.15.0-88-generic)，軟體：Python 3.9.18、conda 4.12.0、huggingface-hub 0.17.3、intel-openmp 2023.2.0、mkl 2023.2.0、numpy 1.26.1、sentencepiece 0.1.99、tokenizers 0.14.1 torch 2.1.0+cpu、tpp-pytorch-extension 0.0.1、transformers 4.35.0，執行 14 實體分數高達 20.08 平均 Token/秒（Llama2-13B-CHAT-HF，輸入 Token 大小：8，bfloat16），以及高達平均 38.98 個字符/秒 (Llama2-7B-CHAT-HF，輸入字符大小：8，bfloat16）。視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。
- TBD "SP5-289：Phi-3-mini 輸送量結果係依據截至 2024 年 6 月 10 日的 AMD 內部測試結果。
Phi-3-mini 組態：單一實體，IPEX 2.3.0，BF16，批次大小 1，輸入字符 16，輸出字符 32。
伺服器配置：
雙路 EPYC 9654 (96C/192T)，Lenovo ThinkSystem SR665 V3，（SMT = 關閉，NPS = 1，功率決定模式，BIOS 1.56），1.5 TB（24x 64 GB DDR5-5600 以 4800 MT/s 執行），3.2 TB SSD，Ubuntu® 22.04.4 LTS。
雙路 Xeon Platinum 8592+ (64C/128T)，Lenovo ThinkSystem SR650 V3（HT = 關閉，NPS-1，啟用加速，設定檔 = 最高效能，BIOS ESE122V-3.10），1TB (16x 64 GB DDR5-4800)，3.2TB NVMe，Ubuntu 22.04.4 LTS，AMX 開啟。
結果，Phi-3-mini 4K：
中位分數 相對於 EMR 的比例
Intel 8592+ 12.63 1.00
AMD EPYC 9654 15.68 1.241
結果，Phi-3-mini 128K
中位分數 相對於 EMR 的比例
Intel 8592+ 13.92 1
AMD EPYC 9654 15.21 1.093 - SP5C-065：與 M7i.48xl 相比，AWS HPC7a.96xlarge 平均分數和雲端 OpEx 的成本節省。兩者皆執行深度學習建議模型 (dlrm-v2.99)，批次大小 = 2000，採用 Int8 精度，使用 OneDNN 庫搭配 IPEX 延伸功能。根據截至 2024 年 6 月 11 日為止的以量計價美國東部（俄亥俄州）Linux® 定價， M7i.48xl：$9.6768 / 小時，HPC7a.96xlarge：$7.20 / 小時。AWS 定價：https://aws.amazon.com/ec2/pricing/on-demand/
顯示的雲端效能結果是根據配置中的測試日期而定。結果可能會因基礎組態的變更以及其他條件而有不同，例如 VM 及其資源的放置、雲端服務供應商所作的最佳化、存取的雲端地區、共同租用戶，以及系統上同時執行的其他工作負載類型。 - SP5C-070：與 m7i.48xl 相比，AWS m7a.48xl 平均分數和雲端 OpEx 的成本節省。兩者皆執行 HuggingFace 的 all-MiniLM-L6-v2model，在 PyTorch 和 Neural Magic Deepsparse 引擎上執行，24 個平行執行，批次大小 = 1，輸入字符大小 = 512，輸出字符大小 = 128，採用 FP32 精度。根據截至 2024 年 7 月 15 日為止的以量計價美國東部（俄亥俄州）Linux® 定價，m7i.48xl：$9.6768 / 小時， m7a.48xl：$11.12832 / 小時。
AWS 定價：https://aws.amazon.com/ec2/pricing/on-demand/
顯示的雲端效能結果是根據配置中的測試日期而定。結果可能會因基礎配置的變更以及其他條件而有不同，例如 VM 及其資源的放置、雲端服務供應商所作的最佳化、存取的雲端地區、共同租用戶，以及系統上同時執行的其他工作負載類型 - SP5C-071：AWS M7a.8xl 平均分數和雲端 OpEx 的成本節省，相較於在 Intel TPP 程式庫的單一實體上使用 BF16 的 7B 參數執行 Llama2 模型的 m7i.8xl，批次大小 = 4，輸入 Token 大小 = 2016，輸出 Token 大小 = 256。
顯示的雲端效能結果是根據配置中的測試日期而定。結果可能會因基礎組態的變更以及其他條件而有不同，例如 VM 及其資源的放置、雲端服務供應商所作的最佳化、存取的雲端地區、共同租用戶，以及系統上同時執行的其他工作負載類型。 - SP5C-060：與 M7i.4xl 相比，AWS m7a.4xl 平均分數和雲端 OpEx 的成本節省。兩者皆執行 BERT-Large- pruned80_quant-none.vnni 模型，採用 FP32 精度 ，批次大小 = 1、128、256，輸入字符大小 = 512，輸出字符大小 = 512。根據截至 2024 年 6 月 11 日為止的以量計價美國東部（俄亥俄州）Linux® 價格，M7i.4xl：$0.8064 / 小時M7a.4xl：$0.92736 / 小時顯示的雲端效能結果是根據配置中的測試日期而定。結果可能會因基礎組態的變更以及其他條件而有不同，例如 VM 及其資源的放置、雲端服務供應商所作的最佳化、存取的雲端地區、共同租用戶，以及系統上同時執行的其他工作負載類型。
- SP5-185A：FAISS v1.7-4 1000 輸送量工作負載之聲稱，係根據 AMD 截至 2024 年 4 月 19 日為止的內部測試。雙路伺服器配置：雙路 EPYC 9654 (96C/96T)（BIOS 1006C（SMT = 關閉，NPS = 1，功率決定模式），1.5 TB（24 個 64GB DDR5-4800），Samsung MZQL21T9HCJR-00A07 1.92 TB，Ubuntu®22.04.3 LTS，執行 8 個實體 /24 核心/實體，中位數輸送量分數為 39.6）的效能為雙路 Xeon Platinum 8592+ (64C/64T)（BIOS 1.4.4（HT = 關閉，設定檔 = 最高效能），1 TB（16 個 64GB DDR5-4800），Intel SSDPF2KE032T1O 3.2 TB NVMe，Ubuntu 22.04.3 LTS，執行 8 個實體/16 核心/實體，中位數輸送量分數為 19.4）的 2.04 倍。視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。
- SP5-251：XGBoost 2.0.3 輸送量工作負載之聲稱，係根據 AMD 截至 2024 年 4 月 19 日為止的內部測試。雙路伺服器配置：雙路 EPYC 9654 (96C/192T)（BIOS 1006C（SMT = 關閉，NPS = 1，功率決定模式），1.5 TB（24 個 64 GB DDR5-4800），Samsung MZQL21T9HCJR-00A07 1.92 TB，Ubuntu 22.04.3 LTS ）航空中位數輸送量分數為 203（執行 16 個實體 /12 核心/實體），希格斯玻色子中位數輸送量分數為 2057（執行 32 個實體 /6 核心/實體），效能分別為雙路 Xeon Platinum 8592+ (64C/128T)（BIOS 1.4.4（HT = 關閉，設定檔 = 最高效能），1 TB（16 個 64 GB DDR5-4800），Intel SSDPF2KE032T1O 3.2TB NVMe，Ubuntu 22.04.3 LTS）（執行 8 個實體/16 核心/實體，航空中位數輸送量分數為 147，以及執行 4 個實體/32 核心/實體，希格斯玻色子中位數輸送量分數為 1200）的 1.38 倍和 1.71 倍。視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。
- SP5-184A：SciKit-Learning Random Forest v2023.2 airline_ohe 資料集輸送量工作負載之宣稱，係根據 AMD 於 2024 年 4 月 19 日的內部測試。雙路伺服器配置：雙路 EPYC 9654 (96C/96T)（BIOS 1006C（SMT = 關閉，NPS = 1，功率決定模式），1.5 TB（24 個 64GB DDR5-4800），2 個 Samsung MZQL21T9HCJR-00A07 1.7 TB，Ubuntu®22.04.3 LTS，執行 12 個實體/16 核心/實體，中位數輸送量分數為 166.8）的效能為雙路 Xeon Platinum 8592+ (64C/64T)（BIOS 1.4.4（HT = 關閉，設定檔 = 最高效能），1 TB（16 個 64GB DDR5-4800），Intel SSDPF2KE032T1O 3.2 TB NVMe，Ubuntu 22.04.3 LTS，執行 8 個實例/16 個核心/實體，中位數輸送量分數為 123.1）的 1.36 倍。視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。
- SP5-252: 第三方測試 OpenVINO 2023.2.dev FPS 比較係根據截至 2023 年 12 月 14 日為止之 Phoronix 對下列特定 OpenVINO 測試之評測 (https://www.phoronix.com/review/intel-xeon-platinum-8592/9)：Vehicle Detection FP16、Person Detection FP16、Person Vehicle Bike Detection FP16、Road Segmentation ADAS FP16 和 Face Detection Retail FP16。Road Segmentation ADAS FP16 最高提升 2.36 倍。測試非由 AMD 獨立驗證。分數會因使用的系統配置和決定模式而異（使用功率決定模式）。OpenVINO 是 Intel Corporation 或其子公司的商標。
- SP5-051A：TPCx-AI SF30 衍生工作負載比較是根據 AMD 執行多個 VM 實體的內部測試，資料截至 2024 年 4 月 13 日為止。彙總端對端 AI 輸送量測試是從 TPCx-AI 基準測試衍生而來，因此無法與已發佈的 TPCx-AI 結果相比，因為端對端 AI 輸送量測試結果不符合 TPCx-AI 規格。AMD 系統配置：處理器：2 x AMD EPYC 9654；頻率：2.4 GHz | 3.7 GHz；核心：每個插槽 96 個核心（每個插槽 1 個 NUMA 域）；L3 快取：384 MB/插槽（總計 768 MB）；記憶體：1.5 TB (24) Dual-Rank DDR5-5600 64 GB DIMM，1DPC（平台支援最高 4800 MHz）；NIC：2 x 100 GbE Mellanox CX-5 (MT28800)；儲存：3.2 TB Samsung MO003200KYDNC U.3 NVMe；BIOS：1.56；BIOS 設定：SMT = 開啟，Determinism = Power，NPS = 1，PPL = 400W，渦輪加速 = 啟用；OS：Ubuntu® 22.04.3 LTS；測試配置：6 個實體，64 個 vCPU/實體，2663 個彙總 AI 使用案例/分鐘，作為比較對象之 Intel 系統配置：處理器：2 x Intel® Xeon® Platinum 8592+；頻率：1.9 GHz | 3.9 GHz；核心：每個插槽 64 個核心（每個插槽 1 個 NUMA 域）；L3 快取：320 MB/插槽（總計 640 MB）；記憶體：1 TB (16) Dual-Rank DDR5-5600 64 GB DIMM，1DPC；NIC：4 個 1GbE Broadcom NetXtreme BCM5719 Gigabit 乙太網路 PCIe；儲存：3.84 TB KIOXIA KCMYXRUG3T84 NVMe；BIOS：ESE124B-3.11；BIOS 設定：超執行緒 = 啟用，渦輪加速 = 啟用，SNC = 停用；OS：Ubuntu® 22.04.3 LTS；測試配置：4 個實體，64 個 vCPU/實體，1607 彙總 AI 使用案例/分鐘視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。 TPC、TPC Benchmark 和 TPC-C 是 Transaction Processing Performance Council 的商標。