コスト効率に優れたエンタープライズ AI 向け推論
業界がモデルをトレーニングする段階から運用する段階へと移行する中、CPU は AI ワークロードと汎用ワークロードを並行して実行するという 2 つの仕事をこなしています。
概要
オンプレミスやクラウドの AMD EPYC™ 9005 サーバー向け CPU に中小規模のモデルを展開することで、コンピューティングへの投資から最大限の価値を引き出すことができます。
異なる推論ワークロードに最適なハードウェアとは
オーバープロビジョニングを回避し、AI への投資から最大限の利益を得るには、モデル サイズとレイテンシ要件を適切なハードウェアに合わせることが重要です。最新世代の AMD EPYC サーバー向け CPU は、汎用ワークロードと共にさまざまな AI タスクを処理できます。モデル サイズの拡大、ボリュームの増加、レイテンシの低減が重要になるにつれ、GPU の効率性とコスト効率が向上します。
| AI 推論ワークロード | 最適な用途 |
||
CPU |
CPU + PCIe ベースの GPU |
GPU クラスター |
|
ドキュメント処理および分類 |
✓ |
|
|
データ マイニングおよび分析 |
✓ |
|
✓ |
科学的シミュレーション |
✓ |
|
|
翻訳 |
✓ |
|
|
インデックス作成 |
✓ |
|
|
コンテンツの適正化 |
✓ |
|
|
予防保全 |
✓ |
|
✓ |
バーチャル アシスタント |
✓ |
✓ |
|
チャットボット |
✓ |
✓ |
|
エキスパート エージェント |
✓ |
✓ |
|
動画のキャプション作成 |
✓ |
✓ |
|
不正検出 |
|
✓ |
✓ |
意思決定 |
|
✓ |
✓ |
動的価格設定 |
|
✓ |
✓ |
音声および動画のフィルタリング |
|
✓ |
✓ |
金融取引 |
|
|
✓ |
電気通信およびネットワーク |
|
|
✓ |
自律システム |
|
|
✓ |
最適な推論ハードウェアを探す
ワークロード要件に応じて、高コア数 CPU のみ、あるいは CPU と GPU の組み合わせが推論に最適です。モデル サイズとレイテンシのニーズに適合するインフラストラクチャについて詳しく説明します。
CPU で実行する 5 つの AI 推論ワークロード
最新の AMD EPYC サーバー向け CPU は、従来の機械学習、コンピューター ビジョン、AI エージェントなど、さまざまな AI ワークロードのパフォーマンス要件を満たすことができます。CPU で優れたパフォーマンスを発揮する 5 つの一般的なワークロードについて説明します。
AMD EPYC サーバー向け CPU による高速で効率的な推論
CPU のみのサーバーに展開される場合でも、大規模モデルを実行する GPU のホストとして使用される場合でも、AMD EPYC サーバー向け CPU は最新のオープン スタンダード テクノロジを採用した設計でエンタープライズ AI 推論ワークロードを加速させます。
第 5 世代 AMD EPYC サーバー向け CPU は、推論、エンドツーエンド AI、機械学習において Intel Xeon 6 よりも高い性能を発揮
第 5 世代 AMD EPYC 9965 サーバー向け CPU と Intel Xeon 6980P の比較は次のとおりです。
最大
89%
DeepSeek におけるチャットボット性能向上³
最大
33%
翻訳ユース ケースにおける Llama 3.1 8B の推論性能向上⁴
最大
36%
翻訳ユース ケースにおける Llama 3.2 1B の推論性能向上⁴
- 小規模言語モデル
- 中規模言語モデル
- 大規模言語モデル
- エンドツーエンドの AI パフォーマンス
- 従来の機械学習
Llama 3.2 1B 上での翻訳⁵
約 1.36 倍
Llama 3.2 1B 上でのエッセイ生成⁵
約 1.27 倍
第 5 世代 AMD EPYC 9965
Intel Xeon 6980P
Llama 3.1 8B 上での翻訳⁴
約 1.33 倍
GPT-J 6B による要約⁶
約 1.28 倍
第 5 世代 AMD EPYC 9965
Intel Xeon 6980P
DeepSeek-R1 671B におけるチャットボット³
約 1.89 倍
DeepSeek-R1 671B におけるエッセイ作成³
約 1.71 倍
DeepSeek-R1 671B における要約³
約 1.41 倍
DeepSeek-R1 671B における書き換え³
約 1.20 倍
第 5 世代 AMD EPYC 9965
Intel Xeon 6980P
第 5 世代 AMD EPYC 9965
Intel Xeon 6980P
TPCx-AI @SF30 派生¹⁰
約 1.70 倍
XGBoost (Higgs)¹¹
約 1.93 倍
Facebook AI 類似性検索 (FAISS)¹²
約 1.60 倍
第 5 世代 AMD EPYC 9965
Intel Xeon 6980P
よくある質問 (FAQ)
まず、パフォーマンスのニーズを判断します。分単位、秒単位、ミリ秒単位で見たときに必要な応答速度はどれくらいでしょうか? パラメーター数で見ると、実行するモデルの大きさはどのくらいでしょうか? 第 5 世代 AMD EPYC CPU にアップグレードするだけで、パフォーマンス要件を満たし、GPU ハードウェアのコストを回避できる可能性があります。
リアルタイムの応答が不要な場合、バッチ推論の方が、キャンペーン パフォーマンスや予防保全の分析などの大規模で長期的な分析のコスト効率が高くなります。金融取引や自律システムなどのインタラクティブなユース ケースをサポートするリアルタイム推論には、GPU アクセラレータが必要になる場合があります。バッチ推論の場合は CPU だけで十分ですが、リアルタイム推論の場合は GPU が最適です。
CPU のみで、最大約 200 億個のパラメーターを持つモデルの推論に十分な性能を提供し、数秒から数分程度のレイテンシで応答できます。これは、多くの AI アシスタント、チャットボット、エージェントにとって十分な応答速度です。それよりもモデルのサイズが大きい場合や、応答時間を速くする必要がある場合は、GPU アクセラレータの追加を検討してください。
一言で答えると、それは状況しだいです。ワークロードに対して最大のパフォーマンスを引き出せるかどうかは、ワークロードの種類と専門性に大きく左右されます。それでも、特定の第 5 世代 AMD EPYC サーバー向け CPU は、大規模言語モデル (DeepSeek-R1 671B3)、中規模言語モデル (Llama 3.1 8B4、GPT-J 6B6)、小規模言語モデル (Llama 3.2 1B5) などの多くの一般的な AI ワークロードでの推論において、同等の Intel Xeon 6 より優れたパフォーマンスを発揮します。
AMD EPYC サーバー向け CPU には、シリコンベースのセキュリティ機能セットを提供する AMD Infinity Guard が搭載されています。7 AMD Infinity Guard には、AMD Secure Encrypted Virtualization (AMD SEV) が含まれています。AMD SEV は、機密性の高い仮想マシン (VM) を使用して実行時にデータ、AI モデル、ワークロードを保護する、広く採用されているコンフィデンシャル コンピューティング ソリューションです。
AMD が AI のあらゆる要素を強化
インフラストラクチャのニーズを AI の目標に合わせます。AMD は、業界をリードするパフォーマンスの高さに裏打ちされた幅広い AI ポートフォリオ、オープン スタンダード準拠のプラットフォーム、強力なエコシステムを提供しています。
AMD EPYC の導入オプション
オンプレミス AI を支える広範なエコシステム
コア数の多いサーバーや高周波数 CPU、最高級レベルの GPU シリーズ、相互運用可能なネットワーク ソリューションなど、OEM パートナーが提供するエンタープライズ AI ハードウェアをご確認ください。
クラウドの AI をスケーリング
AI ワークロードに AMD テクノロジベースの仮想マシン (VM) を選択することで、クラウドを最大限に活用できます。
オープン ソフトウェア開発向けの推論フレームワーク
AMD ZenDNN および AMD ROCm™ ソフトウェアを使用すると、開発者はフレームワークを選択し、アプリケーションのパフォーマンスを最適化できます。
リソース
AMD のデータセンターに関する知見を購読する
AMD EPYC 営業担当者からの連絡をリクエスト
脚注
- 9xx5-169: Llama-3.3-70B のレイテンシ制約付きのスループット (グッドプット) は、2025 年 5 月 14 日時点の AMD 社内テストに基づきます。構成: Llama-3.3-70B、vLLM API サーバー v1.0、データ セット: Sonnet3.5-SlimOrcaDedupCleaned、TP8、最大リクエスト数 512 (ダイナミック バッチ処理)、レイテンシ制約付きの最初のトークンまでの時間 (300 ミリ秒、400 ミリ秒、500 ミリ秒、600 ミリ秒)、OpenMP 128、トークン数/秒の測定結果です。2P AMD EPYC 9575F (合計 128 コア、400 W TDP、プロダクション システム、1.5 TB 24x64 GB DDR5-6400 を 6000 MT/秒で実行、2 x 25 GbE ConnectX-6 Lx MT2894、4x 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Micron_7450_MTFDKCC800TFS 800 GB NVMe (OS 用)、Ubuntu 22.04.3 LTS、kernel=5.15.0-117-generic、BIOS 3.2、SMT=OFF、Determinism=power、mitigations=off、8x NVIDIA H100)。2P Intel Xeon 8592+ (合計 128 コア、350 W TDP、プロダクション システム、1 TB 16x64 GB DDR5-5600、2 x 25 GbE ConnectX-6 Lx (MT2894)、4x 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Micron_7450_MTFDKBA480TFR 480 GB NVMe、Ubuntu 22.04.3 LTS、kernel-5.15.0-118-generic、SMT=OFF、Performance Bias、Mitigations=off、8x NVIDIA H100)。結果: CPU 300 400 500 600; 8592+ 0 126.43 1565.65 1987.19; 9575F 346.11 2326.21; 2531.38 2572.42; 相対 NA 18.40 1.62 1.29。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。ark.intel.com からの TDP 情報
- Llama-3.2-1B-Instruct 上での並列ドラフト モデル (PARD) 技術。設定についてはこちら: https://www.amd.com/en/developer/resources/technical-articles/2025/speculative-llm-inference-on-the-5th-gen-amd-epyc-processors-wit.html
- 9xx5-152A: Deepseek-R1-671B のスループットは、2025 年 1 月 28 日時点の AMD 社内テストに基づきます。構成: llama.cpp フレームワーク、1.58 ビット量子化 (UD_IQ1_S、1.56 ビットにおける MoE)、バッチ サイズ 1 および 4、16C インスタンス、ユース ケース入力/出力トークン構成: [チャットボット = 128/128、エッセイ = 128/1024、要約 = 1024/128、書き換え = 1024/1024]。2P AMD EPYC 9965 (合計 384 コア、500 W TDP、リファレンス システム、3 TB 24x128 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 22.04.3 LTS | 5.15.0-105-generic、SMT=ON、Determinism=Power、Mitigations=On)。2P AMD EPYC 9755 (合計 256 コア、500 W TDP、リファレンス システム、3 TB 24x128 GB DDR5-6400、2 x 40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 22.04.3 LTS | 5.15.0-105-generic、SMT=ON、Determinism=Power、Mitigations=On)。2P Intel Xeon 6980P (合計 256 コア、500 W TDP、プロダクション システム、3 TB 24x64 GB DDR5-6400、4 x 1 GbE Broadcom NetXtreme BCM5719 ギガビット イーサネット PCIe、3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04.2 LTS | 6.13.2-061302-generic、SMT=ON、Performance Bias、Mitigations=On)。結果: BS=1 6980P 9755 9965 Rel9755 Rel9965、チャットボット 47.31 61.88 70.344 1.308 1.487、エッセイ 42.97 56.04 61.608 1.304 1.434、要約 44.99 59.39 62.304 1.32 1.385、書き換え 41.8 68.44 55.08 1.637 1.318。BS=4 6980P 9755 Rel9755 Rel9965、チャットボット 76.01 104.46 143.496 1.374 1.888、エッセイ 67.89 93.68 116.064 1.38 1.71、要約 70.88 103.39 99.96 1.459 1.41、書き換え 65 87.9 78.12 1.352 1.202。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- 9xx5-156: Llama3.1-8B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。Llama3.1-8B の構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計コア数 384)、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、(SMT=Off、mitigations=On、Determinism=Power)、NPS = 1、ZenDNN 5.0.1。2P AMD EPYC 9755 (合計コア数 256)、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 6.8.0-52-generic、BIOS RVOT1004A、(SMT=Off、mitigations=On、Determinism=Power)、NPS=1、ZenDNN 5.0.1。2P Xeon 6980P (合計コア数 256)、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、1.0 Gbps イーサネット コントローラー X710 for 10GBASE-T、Micron 7450 MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0 (SMT=Off、mitigations=On、Performance Bias)、IPEX 2.6.0。結果: CPU: 6980P/9755/9965、要約: 1/ n/a /1.093。翻訳: 1/1.062/1.334、エッセイ: 1/ n/a /1.14。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-166: Llama3.2-1B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。Llama3.3-1B の構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、SMT=off、mitigations=on、Determinism=Power、NPS=1、ZenDNN 5.0.1、Python 3.10.2)。2P Xeon 6980P (合計 256 コア、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic、BIOS 1.0、SMT=off、mitigations=on、Performance Bias、IPEX 2.6.0、Python 3.12.3)。結果: CPU 6980P 9965、要約 1 1.213、翻訳 1 1.364、エッセイ 1 1.271。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-158: GPT-J-6B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。GPT-J-6B 構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計コア数 384、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、SMT=Off、mitigations=On、Determinism=Power、NPS = 1、ZenDNN 5.0.1、Python 3.10.12)。2P AMD EPYC 9755 (合計コア数 256、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 6.8.0-52-generic、BIOS RVOT1004A、SMT=Off、mitigations=On、Determinism=Power、NPS=1、ZenDNN 5.0.1、Python 3.10.12)。2P Xeon 6980P (合計コア数 256、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron 7450 MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、mitigations=On、Performance Bias、IPEX 2.6.0、Python 3.10.12)。結果: CPU 6980P 9755 9965、要約 1 1.034 1.279、チャットボット 1 0.975 1.163、翻訳 1 1.021 0.93、エッセイ 1 0.978 1.108、キャプション 1 0.913 1.12、全体 1 0.983 1.114。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- GD-183A: AMD Infinity Guard の機能は、EPYC™ プロセッサの世代および/またはシリーズによって異なります。Infinity Guard のセキュリティ機能は、サーバー OEM および/またはクラウド サービス プロバイダーにより有効化されている必要があります。これらの機能のサポートについては、OEM またはプロバイダーに確認してください。Infinity Guard の詳細はこちら: https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html。
- 9xx5-002F: SPECrate®2017_int_base の比較は、www.spec.org に掲載された 2025 年 12 月 4 日時点のスコアに基づいています。下記の結果と構成の形式: [プロセッサ]、[コア数]、[TDP]、[1Ku 価格 (単位 USD)]、[SPECrate®2017_int_base score]、[SPECrate® 2017_int_base スコア/CPU W]、[SPECrate® 2017_int_base スコア/1Ku 価格 (単位 USD)]、[スコアへのリンク]。
2P AMD EPYC 9654、96C、360W、$8452 USD、1830、5.083、0.217、https://www.spec.org/cpu2017/results/res2025q3/cpu2017-20250727-49206.html
2P AMD EPYC 9754、128C、360W、$10631 USD、1950、5.417、0.183、https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html
2P AMD EPYC 9755、128C、500W、$10931 USD、2840、5.680、0.260、https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html
2P AMD EPYC 9965、192C、500W、$11988 USD、3230、6.460、0.269、https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html
2P Intel Xeon 6780E、144C、330W、$8513 USD、1410、4.273、0.166、https://www.spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html
2P Intel Xeon 6980P、128C、500W、$12460 USD、2510、5.020、0.201、https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html
2P Intel Xeon Platinum 8592+、64C、350W、$11600 USD、1130、3.229、0.097、https://www.spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html
SPEC®、SPEC CPU®、および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。AMD CPU の価格は 2025 年 12 月 9 日時点のものです。Intel CPU の W 値および価格は、2025 年 12 月 9 日時点で https://ark.intel.com/ に記載されているものです。
- 9xx5-001: 2024 年 9 月 10 日時点の AMD 社内テストに基づく、固定周波数での幾何平均パフォーマンス向上 (IPC)。- 第 5 世代 EPYC 世代別 ML/HPC サーバー ワークロードは、24 のワークロードから選択されたセットを使用し、代表的な ML サーバーワー クロード (幾何平均) および代表的な HPC サーバー ワークロード (幾何平均) の幾何平均値である 1.369 倍 (幾何平均) の IPC 性能向上を示しました。"Genoa 構成" (すべて NPS1) "Genoa" 構成: EPYC 9654 BIOS TQZ1005D 12c12t (12+1 で 1c1t/CCD)、FF 3 GHz、12x DDR5-4800 (2Rx4 64 GB)、32 Gbps xGMI。"Turin" 構成 (すべて NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (12+1 で 1c1t/CCD)、FF 3 GHz、12x DDR5-6000 (2Rx4 64 GB)、32 Gbps xGMI。Ubuntu 22.04 w/6.8.0-40-generic カーネル OS 上でのパフォーマンス決定論と Performance Governor の全ワークロードへの活用 (24.04 w/6.8.0-40-generic カーネルを使用する LAMMPS、HPCG、NAMD、OpenFOAM、Gromacs を除く)。SPEC® および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、SPEC.org をご覧ください。
- 9xx5-151: TPCxAI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、複数の VM インスタンスを実行した場合の 2025 年 4 月 1 日時点の AMD 社内テストに基づくものです。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。2P AMD EPYC 9965 (合計 6067.53 AIUCpm、合計 384 コア、500W TDP、AMD リファレンス システム、1.5 TB 24x64 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 24.04 LTS カーネル 6.13、SMT=ON、Determinism=Power、Mitigations=On)。2P AMD EPYC 9755 (合計 4073.42 AIUCpm、合計 256 コア、500W TDP、AMD リファレンス システム、1.5 TB 24x64 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04 LTS カーネル 6.13、SMT=ON、Determinism=Power、Mitigations=On)。2P Intel Xeon 6980P (合計 3550.50 AIUCpm、合計 256 コア、500W TDP、プロダクション システム、1.5 TB 24x64 GB DDR5-6400、4x1 GbE Broadcom NetXtreme BCM5719 ギガビット イーサネット PCIe、3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04 LTS カーネル 6.13、SMT=ON、Performance Bias、Mitigations=On)。実際の結果は、システム構成、ソフトウェア バージョン、BIOS 設定などの要因によって異なる場合があります。TPC、TPC Benchmark、および TPC-H は、Transaction Processing Performance Council の商標です。
- 9xx5-162: XGBoost (実行/時) のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。XGBoost 構成: バージョン 1.7.2、Higgs データ セット、32 コア インスタンス、FP32。2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、Mitigations=On、Determinism=Power、NPS=1)。2P AMD EPYC 9755 (合計 256 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、Mitigations=On、Determinism=Power、NPS=1)。2P Intel Xeon 6980P (合計 256 コア、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、Mitigations=On、Performance Bias)。結果: CPU Throughput Relative: 2P 6980P – 400 (1.0)/2P 9755 – 436 (1.090)/2P 9965 – 771 (1.928)。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因によって異なります。
- 9xx5-164: FAISS (実行/時) のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。FAISS 構成: バージョン 1.8.0、sift1m データ セット、32 コア インスタンス、FP32。2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、mitigations=on、Determinism=Power、NPS=12P)。AMD EPYC 9755 (合計 256 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、mitigations=on、Determinism=Power、NPS=12P)。Xeon 6980P (合計 256 コア、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、mitigations=on、Performance Bias)。結果: CPU スループット相対値: 2P 6980P – 36.63 (1.0)/2P 9755 – 46.86 (1.279)/2P 9965 – 58.6 (1.600)。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因によって異なります。
- 9xx5-012: TPCx-AI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、2024 年 9 月 5 日に複数の VM インスタンスを実行した AMD 社内テストに基づいています。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。
2P AMD EPYC 9965 (合計 384 コア)、12 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9755 (合計 256 コア)、8 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9654 (合計 192 コア) 6 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)
比較対象: 2P Xeon Platinum 8592+ (合計 128 コア)、4 32 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled)
結果:
CPU 相対中央値 (世代間)
Turin 192 コア、12 Inst 6067.531 3.775 2.278
Turin 128 コア、8 Inst 4091.85 2.546 1.536
Genoa 96 コア、6 Inst 2663.14 1.657 1
EMR 64 コア、4 Inst 1607.417 1 NA
実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。
脚注
- 9xx5-169: Llama-3.3-70B のレイテンシ制約付きのスループット (グッドプット) は、2025 年 5 月 14 日時点の AMD 社内テストに基づきます。構成: Llama-3.3-70B、vLLM API サーバー v1.0、データ セット: Sonnet3.5-SlimOrcaDedupCleaned、TP8、最大リクエスト数 512 (ダイナミック バッチ処理)、レイテンシ制約付きの最初のトークンまでの時間 (300 ミリ秒、400 ミリ秒、500 ミリ秒、600 ミリ秒)、OpenMP 128、トークン数/秒の測定結果です。2P AMD EPYC 9575F (合計 128 コア、400 W TDP、プロダクション システム、1.5 TB 24x64 GB DDR5-6400 を 6000 MT/秒で実行、2 x 25 GbE ConnectX-6 Lx MT2894、4x 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Micron_7450_MTFDKCC800TFS 800 GB NVMe (OS 用)、Ubuntu 22.04.3 LTS、kernel=5.15.0-117-generic、BIOS 3.2、SMT=OFF、Determinism=power、mitigations=off、8x NVIDIA H100)。2P Intel Xeon 8592+ (合計 128 コア、350 W TDP、プロダクション システム、1 TB 16x64 GB DDR5-5600、2 x 25 GbE ConnectX-6 Lx (MT2894)、4x 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Micron_7450_MTFDKBA480TFR 480 GB NVMe、Ubuntu 22.04.3 LTS、kernel-5.15.0-118-generic、SMT=OFF、Performance Bias、Mitigations=off、8x NVIDIA H100)。結果: CPU 300 400 500 600; 8592+ 0 126.43 1565.65 1987.19; 9575F 346.11 2326.21; 2531.38 2572.42; 相対 NA 18.40 1.62 1.29。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。ark.intel.com からの TDP 情報
- Llama-3.2-1B-Instruct 上での並列ドラフト モデル (PARD) 技術。設定についてはこちら: https://www.amd.com/en/developer/resources/technical-articles/2025/speculative-llm-inference-on-the-5th-gen-amd-epyc-processors-wit.html
- 9xx5-152A: Deepseek-R1-671B のスループットは、2025 年 1 月 28 日時点の AMD 社内テストに基づきます。構成: llama.cpp フレームワーク、1.58 ビット量子化 (UD_IQ1_S、1.56 ビットにおける MoE)、バッチ サイズ 1 および 4、16C インスタンス、ユース ケース入力/出力トークン構成: [チャットボット = 128/128、エッセイ = 128/1024、要約 = 1024/128、書き換え = 1024/1024]。2P AMD EPYC 9965 (合計 384 コア、500 W TDP、リファレンス システム、3 TB 24x128 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 22.04.3 LTS | 5.15.0-105-generic、SMT=ON、Determinism=Power、Mitigations=On)。2P AMD EPYC 9755 (合計 256 コア、500 W TDP、リファレンス システム、3 TB 24x128 GB DDR5-6400、2 x 40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 22.04.3 LTS | 5.15.0-105-generic、SMT=ON、Determinism=Power、Mitigations=On)。2P Intel Xeon 6980P (合計 256 コア、500 W TDP、プロダクション システム、3 TB 24x64 GB DDR5-6400、4 x 1 GbE Broadcom NetXtreme BCM5719 ギガビット イーサネット PCIe、3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04.2 LTS | 6.13.2-061302-generic、SMT=ON、Performance Bias、Mitigations=On)。結果: BS=1 6980P 9755 9965 Rel9755 Rel9965、チャットボット 47.31 61.88 70.344 1.308 1.487、エッセイ 42.97 56.04 61.608 1.304 1.434、要約 44.99 59.39 62.304 1.32 1.385、書き換え 41.8 68.44 55.08 1.637 1.318。BS=4 6980P 9755 Rel9755 Rel9965、チャットボット 76.01 104.46 143.496 1.374 1.888、エッセイ 67.89 93.68 116.064 1.38 1.71、要約 70.88 103.39 99.96 1.459 1.41、書き換え 65 87.9 78.12 1.352 1.202。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- 9xx5-156: Llama3.1-8B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。Llama3.1-8B の構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計コア数 384)、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、(SMT=Off、mitigations=On、Determinism=Power)、NPS = 1、ZenDNN 5.0.1。2P AMD EPYC 9755 (合計コア数 256)、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 6.8.0-52-generic、BIOS RVOT1004A、(SMT=Off、mitigations=On、Determinism=Power)、NPS=1、ZenDNN 5.0.1。2P Xeon 6980P (合計コア数 256)、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、1.0 Gbps イーサネット コントローラー X710 for 10GBASE-T、Micron 7450 MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0 (SMT=Off、mitigations=On、Performance Bias)、IPEX 2.6.0。結果: CPU: 6980P/9755/9965、要約: 1/ n/a /1.093。翻訳: 1/1.062/1.334、エッセイ: 1/ n/a /1.14。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-166: Llama3.2-1B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。Llama3.3-1B の構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、SMT=off、mitigations=on、Determinism=Power、NPS=1、ZenDNN 5.0.1、Python 3.10.2)。2P Xeon 6980P (合計 256 コア、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic、BIOS 1.0、SMT=off、mitigations=on、Performance Bias、IPEX 2.6.0、Python 3.12.3)。結果: CPU 6980P 9965、要約 1 1.213、翻訳 1 1.364、エッセイ 1 1.271。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-158: GPT-J-6B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。GPT-J-6B 構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計コア数 384、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、SMT=Off、mitigations=On、Determinism=Power、NPS = 1、ZenDNN 5.0.1、Python 3.10.12)。2P AMD EPYC 9755 (合計コア数 256、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 6.8.0-52-generic、BIOS RVOT1004A、SMT=Off、mitigations=On、Determinism=Power、NPS=1、ZenDNN 5.0.1、Python 3.10.12)。2P Xeon 6980P (合計コア数 256、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron 7450 MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、mitigations=On、Performance Bias、IPEX 2.6.0、Python 3.10.12)。結果: CPU 6980P 9755 9965、要約 1 1.034 1.279、チャットボット 1 0.975 1.163、翻訳 1 1.021 0.93、エッセイ 1 0.978 1.108、キャプション 1 0.913 1.12、全体 1 0.983 1.114。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- GD-183A: AMD Infinity Guard の機能は、EPYC™ プロセッサの世代および/またはシリーズによって異なります。Infinity Guard のセキュリティ機能は、サーバー OEM および/またはクラウド サービス プロバイダーにより有効化されている必要があります。これらの機能のサポートについては、OEM またはプロバイダーに確認してください。Infinity Guard の詳細はこちら: https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html。
- 9xx5-002F: SPECrate®2017_int_base の比較は、www.spec.org に掲載された 2025 年 12 月 4 日時点のスコアに基づいています。下記の結果と構成の形式: [プロセッサ]、[コア数]、[TDP]、[1Ku 価格 (単位 USD)]、[SPECrate®2017_int_base score]、[SPECrate® 2017_int_base スコア/CPU W]、[SPECrate® 2017_int_base スコア/1Ku 価格 (単位 USD)]、[スコアへのリンク]。
2P AMD EPYC 9654、96C、360W、$8452 USD、1830、5.083、0.217、https://www.spec.org/cpu2017/results/res2025q3/cpu2017-20250727-49206.html
2P AMD EPYC 9754、128C、360W、$10631 USD、1950、5.417、0.183、https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html
2P AMD EPYC 9755、128C、500W、$10931 USD、2840、5.680、0.260、https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html
2P AMD EPYC 9965、192C、500W、$11988 USD、3230、6.460、0.269、https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html
2P Intel Xeon 6780E、144C、330W、$8513 USD、1410、4.273、0.166、https://www.spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html
2P Intel Xeon 6980P、128C、500W、$12460 USD、2510、5.020、0.201、https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html
2P Intel Xeon Platinum 8592+、64C、350W、$11600 USD、1130、3.229、0.097、https://www.spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html
SPEC®、SPEC CPU®、および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。AMD CPU の価格は 2025 年 12 月 9 日時点のものです。Intel CPU の W 値および価格は、2025 年 12 月 9 日時点で https://ark.intel.com/ に記載されているものです。 - 9xx5-001: 2024 年 9 月 10 日時点の AMD 社内テストに基づく、固定周波数での幾何平均パフォーマンス向上 (IPC)。- 第 5 世代 EPYC 世代別 ML/HPC サーバー ワークロードは、24 のワークロードから選択されたセットを使用し、代表的な ML サーバーワー クロード (幾何平均) および代表的な HPC サーバー ワークロード (幾何平均) の幾何平均値である 1.369 倍 (幾何平均) の IPC 性能向上を示しました。"Genoa 構成" (すべて NPS1) "Genoa" 構成: EPYC 9654 BIOS TQZ1005D 12c12t (12+1 で 1c1t/CCD)、FF 3 GHz、12x DDR5-4800 (2Rx4 64 GB)、32 Gbps xGMI。"Turin" 構成 (すべて NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (12+1 で 1c1t/CCD)、FF 3 GHz、12x DDR5-6000 (2Rx4 64 GB)、32 Gbps xGMI。Ubuntu 22.04 w/6.8.0-40-generic カーネル OS 上でのパフォーマンス決定論と Performance Governor の全ワークロードへの活用 (24.04 w/6.8.0-40-generic カーネルを使用する LAMMPS、HPCG、NAMD、OpenFOAM、Gromacs を除く)。SPEC® および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、SPEC.org をご覧ください。
- 9xx5-151: TPCxAI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、複数の VM インスタンスを実行した場合の 2025 年 4 月 1 日時点の AMD 社内テストに基づくものです。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。2P AMD EPYC 9965 (合計 6067.53 AIUCpm、合計 384 コア、500W TDP、AMD リファレンス システム、1.5 TB 24x64 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 24.04 LTS カーネル 6.13、SMT=ON、Determinism=Power、Mitigations=On)。2P AMD EPYC 9755 (合計 4073.42 AIUCpm、合計 256 コア、500W TDP、AMD リファレンス システム、1.5 TB 24x64 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04 LTS カーネル 6.13、SMT=ON、Determinism=Power、Mitigations=On)。2P Intel Xeon 6980P (合計 3550.50 AIUCpm、合計 256 コア、500W TDP、プロダクション システム、1.5 TB 24x64 GB DDR5-6400、4x1 GbE Broadcom NetXtreme BCM5719 ギガビット イーサネット PCIe、3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04 LTS カーネル 6.13、SMT=ON、Performance Bias、Mitigations=On)。実際の結果は、システム構成、ソフトウェア バージョン、BIOS 設定などの要因によって異なる場合があります。TPC、TPC Benchmark、および TPC-H は、Transaction Processing Performance Council の商標です。
- 9xx5-162: XGBoost (実行/時) のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。XGBoost 構成: バージョン 1.7.2、Higgs データ セット、32 コア インスタンス、FP32。2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、Mitigations=On、Determinism=Power、NPS=1)。2P AMD EPYC 9755 (合計 256 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、Mitigations=On、Determinism=Power、NPS=1)。2P Intel Xeon 6980P (合計 256 コア、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、Mitigations=On、Performance Bias)。結果: CPU Throughput Relative: 2P 6980P – 400 (1.0)/2P 9755 – 436 (1.090)/2P 9965 – 771 (1.928)。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因によって異なります。
- 9xx5-164: FAISS (実行/時) のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。FAISS 構成: バージョン 1.8.0、sift1m データ セット、32 コア インスタンス、FP32。2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、mitigations=on、Determinism=Power、NPS=12P)。AMD EPYC 9755 (合計 256 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、mitigations=on、Determinism=Power、NPS=12P)。Xeon 6980P (合計 256 コア、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、mitigations=on、Performance Bias)。結果: CPU スループット相対値: 2P 6980P – 36.63 (1.0)/2P 9755 – 46.86 (1.279)/2P 9965 – 58.6 (1.600)。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因によって異なります。
- 9xx5-012: TPCx-AI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、2024 年 9 月 5 日に複数の VM インスタンスを実行した AMD 社内テストに基づいています。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。
2P AMD EPYC 9965 (合計 384 コア)、12 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9755 (合計 256 コア)、8 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9654 (合計 192 コア) 6 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)
比較対象: 2P Xeon Platinum 8592+ (合計 128 コア)、4 32 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled)
結果:
CPU 相対中央値 (世代間)
Turin 192 コア、12 Inst 6067.531 3.775 2.278
Turin 128 コア、8 Inst 4091.85 2.546 1.536
Genoa 96 コア、6 Inst 2663.14 1.657 1
EMR 64 コア、4 Inst 1607.417 1 NA
実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。