AMD ハードウェアを AI のニーズに合わせる
AI 向けの AMD ポートフォリオの概要を把握します。まず AMD EPYC サーバー向け CPU から始め、次に AI ワークフロー全体に対してどのようにさまざまなタイプのハードウェアを使用するのかを検討します。
業界に幅広いインパクトをもたらす AI テクノロジ
AI 展開の規模にかかわらず、AMD EPYC サーバー向け CPU は、企業の AI ワークロードや汎用ワークロード向けの高性能で電力効率に優れた基盤となります。
AMD EPYC サーバー向け CPU がエンタープライズ AI に最適な理由をご確認ください9
第 5 世代 AMD EPYC サーバー向け CPU は、コア数の多さや高周波数、十分なメモリ容量と I/O 帯域幅、AVX-512 命令のサポートを含むオプションにより、AI への要求に応えます。AMD Infinity Guard のビルトイン セキュリティ テクノロジにより、データをシリコン レイヤーまで一貫して保護します。7
AI のためのデータセンターを構築する方法
AI 対応のデータセンターを構築するには、セキュリティ要件を満たすよう設計された汎用演算の基盤が必要です。また、この基盤は、必要があればパフォーマンスとワークロードに適合するよう GPU で強化します。AI 対応のマルチタスク処理能力を備えた組織として、次のデータセンターを最適化する方法をご紹介します。
手順 1
既存のサーバーを統合する
データセンターのスペースと電力には限りがあります。古いサーバーを新しい高密度 CPU に置き換えれば、サーバーを統合して台数を減らし、それに伴う消費電力を削減し、AI のためのスペースを確保できます。
8 分の 1 に減らす
2020 年に登場した Intel® "Cascade Lake" サーバーから第 5 世代 AMD EPYC CPU 搭載サーバーに移行します。
最大
86%
サーバー数が減少¹
最大
69%
消費電力が低減¹
最大
41%
3 年間の TCO が低減¹
AMD EPYC 9965 CPU 搭載サーバーが 14 台あれば、100 台分の旧式の Intel Xeon Platinum 8280 CPU 搭載サーバーと同じ整数演算性能を発揮します。
最新の Intel® Xeon® 6 プロセッサよりも優れたパフォーマンスを発揮
最大
29%
高い整数演算性能²
最大
66%
優れた電力効率³
第 5 世代 AMD EPYC 9965 CPU は、"パフォーマンス コア" を搭載した最新の Intel Xeon 6 6980P CPU よりも優れています。
手順 2
CPU を使用して新しい AI ワークロードに対応する
多くの推論ワークロードは CPU 上で実行され、特別なアクセラレータ ハードウェアを必要としません。小規模または中規模のモデルを実行する場合、または AI タスクの実行頻度が低い場合は、高コア数の第 5 世代 EPYC サーバー向け CPU でパフォーマンス要件を満たせる可能性があります。
最大
70%
Intel Xeon 6 プロセッサよりもエンドツーエンドの AI パフォーマンスが高い⁴
TPCxAI でテストしたときに AMD EPYC 9965 CPU の方が Intel Xeon 6 6980P CPU よりも性能が優れています。
手順 3
必要に応じて GPU で補強する
トレーニング、大規模モデルに基づく推論、大規模な展開、または低レイテンシが求められるユース ケースには、専用の AI アクセラレーションが必要になる場合があります。高周波数 AMD EPYC 9005 サーバー向け CPU をホスト CPU として使用することで、高コア周波数と大容量メモリを活用できます。PCIe フォーム ファクターには AMD Instinct™ アクセラレータのような GPU を追加できます。
最大
約 10 倍
NVIDIA H100 との組み合わせで Intel Xeon 8592+ と比較すると AMD EPYC 9575F の方がレイテンシに制約がある推論の性能が高い⁵
最大
11%
AMD Instinct MI300X と AMD EPYC 9575F の組み合わせの推論パフォーマンスを Intel Xeon Platinum 8460Y+ と比較した場合⁶
手順 4
統合型のセキュリティ機能を活用する
データ保護は、AI 展開を実施するごとに考慮する必要があります。AMD EPYC サーバー向け CPU は、多くの高度な攻撃に対する耐性を高めるために、セキュリティを念頭に置いて設計されています。シリコン レベルで組み込まれている AMD Infinity Guard7 により、内外の脅威に対抗してデータを安全に保つことができます。
手順 5
オンプレミスとクラウドの適切な組み合わせを作る
オンプレミスとクラウドのリソースを適切に組み合わせた柔軟な AI インフラストラクチャであれば、迅速に拡張できます。数百ものハードウェア オプションと 1,000 以上のパブリック クラウド インスタンスに AMD EPYC サーバー向け CPU が採用されています。
オンプレミスで実行
350+
ハードウェア プラットフォーム
クラウドで拡張
1,000+
パブリック クラウド インスタンス
AMD EPYC サーバー向け CPU を活用した AI 環境へと再構築を開始
よくある質問 (FAQ)
AI ハードウェアに投資する前に、データセンター設計者は AI ワークロードとパフォーマンス要件を評価する必要があります。場合によっては、GPU がなくても、汎用的な AMD EPYC サーバー向け CPU が推論に必要な性能を十分に発揮することがあります。
一般的に、AMD EPYC サーバー向け CPU は、最大 200 億のパラメーターを持つモデルに十分なパフォーマンスを提供します。これに該当するものは、多くの一般的な大規模言語モデル (LLM) やその他の生成 AI アプリケーションです。
AMD EPYC サーバー向け CPU は多くの推論ユース ケースに最適です。これに該当するのは、古い機械学習、コンピューター ビジョン、メモリ負荷の高いグラフ解析、レコメンデーション システム、自然言語処理、LLM のような中小規模の生成 AI モデルです。また、AI エージェントの専門的なチューニングや、拡張世代 (RAG) モデルの取得でよく使用されるプロンプトベースのコラボレーティブな前処理にも最適です。
第 5 世代 AMD EPYC サーバー向け CPU は、Intel Xeon 6 に比べてエンドツーエンドの AI パフォーマンスが 70% 高くなっています。4 また、DeepSeek におけるチャットボットのパフォーマンスを Intel Xeon 6980P8 と比較すると、AMD EPYC 9965 の方が最大 89% 高く、LLM のパフォーマンスも優れています。
データの局所性またはプライバシーの要件を遵守する必要がある場合、あるいは低レイテンシに関して厳密な要件がある場合は、オンプレミスで AI を実行することを検討します。迅速な拡大縮小に対応可能な柔軟性が必要な場合、クラウドはオンデマンド リソースに最適です。
AI に合った CPU を選ぶ
AMD EPYC サーバー向け CPU のコア数、周波数、メモリ、電源の選択肢は幅広く、その中から選択できます。最も頻繁に実行する AI ワークロードに合った CPU を選ぶことで、最適な結果を得ることができます。
エンドツーエンドの AI ワークフローで優れたパフォーマンスを発揮します。
実際の AI や機械学習の用途では、AMD EPYC 9965 は Intel Xeon 6980P よりも優れたパフォーマンスを発揮します。
最大
70%
エンドツーエンドの AI 性能向上⁴
最大
60%
Facebook AI 類似検索の性能向上¹⁰
最大
93%
機械学習のパフォーマンスが高い¹
大規模言語モデル (LLM) に対する CPU パフォーマンスが優れている
数十億パラメーター規模までの LLM に対応できる性能で、チャットボット、インテリジェント検索エージェント、その他の生成 AI アプリケーションを安心して展開できます。AMD EPYC 9965 は Intel Xeon 6980P よりも優れたパフォーマンスを発揮します。
最大
89%
DeepSeek 上でのチャットボット性能向上
最大
33%
Llama 3.1 88¹² における中規模言語モデルのパフォーマンス向上
最大
28%
GPT-J 6B における要約ユース ケースのスループット性能向上¹³
最大
36%
Llama 3.2 1B における翻訳ユース ケースのパフォーマンス向上¹⁴
AMD が AI のあらゆる要素を強化
インフラストラクチャのニーズを AI の目標に合わせます。AMD は、業界をリードするパフォーマンスの高さに裏打ちされた幅広い AI ポートフォリオ、オープン スタンダード準拠のプラットフォーム、強力なエコシステムを提供しています。
柔軟な AI 開発のためのオープン ソフトウェア
AMD ZenDNN および AMD ROCm™ ソフトウェアを使用すると、開発者はフレームワークを選択し、アプリケーションのパフォーマンスを最適化できます。
AMD EPYC の導入オプション
オンプレミス AI を支える広範なエコシステム
コア数の多いサーバーや高周波数 CPU、最高級レベルの GPU シリーズ、相互運用可能なネットワーク ソリューションなど、OEM パートナーが提供するエンタープライズ AI ハードウェアをご確認ください。
クラウドの AI をスケーリング
AI ワークロードに AMD テクノロジベースの仮想マシン (VM) を選択することで、クラウドを最大限に活用できます。
リソース
AMD のデータセンターに関する知見を購読する
AMD EPYC 営業担当者からの連絡をリクエスト
脚注
- 9xxTCO-019[DM1] [MK2]: このシナリオには多くの仮定と推定が含まれており、AMD の内部調査と最良近似に基づいています。このシナリオ中に示される数値は、情報提供のみを目的とした例であり、実際のテストに対する意思決定の基礎としては使用しないでください。AMD サーバーと温室効果ガス排出量 TCO (総所有コスト) 評価ツール (バージョン 1.53) では、2025 年 9 月 30 日時点において、SPECrate2017_int_base で 391,000 ユニットの TOTAL_PERFORMANCE を実現するために必要となる特定の AMD EPYC™ と Intel® Xeon® CPU ベースのサーバー ソリューションを比較しています。この分析は、SPECrate2017_int_base スコア 3230 の 2P AMD 192 コア EPYC_9965 搭載サーバー (https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf) を、SPECrate2017_int_base スコア 2510 の 2P Intel Xeon 128 コア Xeon_6980P 搭載サーバー (https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf) と、SPECrate2017_int_base スコア 391 のレガシ 2P Intel Xeon 28 コア Platinum_8280 搭載サーバー (https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf) と比較したものです。2025 年の「International Country Specific Electricity Factors」のデータを活用した環境影響の推定値は、https://www.carbondi.com/#electricity-factors/ で確認できます。また、本分析で使用した「US EPA Greenhouse Gas Equivalencies Calculator」は 2024 年 9 月 4 日に取得したもので、https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator で参照できます。その他の詳細については、https://www.amd.com/claims/9xx5TCO-019 をご覧ください。
- 9xx5-128A: SPECrate®2017_int_base の比較は、www.spec.org に掲載された 2025 年 5 月 9 日時点のスコアに基づいています。2P AMD EPYC 9965 (3230 SPECrate®2017_int_base、合計 384 コア、500 W TDP、CPU あたりのコスト $14,813)、6.460 SPECrate®2017_int_base/CPU あたりの消費電力、0.218 SPECrate®2017_int_base/CPU あたりのコスト (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html)。2P AMD EPYC 9755 (2840 SPECrate®2017_int_base、合計 256 コア、500 W TDP、CPU あたりのコスト $12,984)、5.680 SPECrate®2017_int_base/CPU あたりの消費電力、0.219 SPECrate®2017_int_base/CPU あたりのコスト (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html)。2P Intel Xeon 6980P (2510 SPECrate®2017_int_base、合計 256 コア、500 W TDP、CPU あたりのコスト $12,460)、5.020 SPECrate®2017_int_base/CPU あたりの消費電力、0.201 SPECrate®2017_int_base/CPU あたりのコスト (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html)。SPEC®、SPEC CPU®、および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。Intel CPU の TDP と価格は 2025 年 4 月 17 日現在のものです。https://ark.intel.com/ をご覧ください。
- 9xx5-134: SPECpower_ssj® 2008 の比較は、www.spec.org に掲載された 2025 年 4 月 30 日時点のスコアに基づいています。2P AMD EPYC 9965 (35920 ssj_ops/watt、合計 384 コア、https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html)。2P AMD EPYC 9755 (29950 ssj_ops/watt、合計 256 コア、https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html)。2P Intel Xeon 6980P (21679 ssj_ops/watt、合計 256 コア、https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html)。SPEC®、SPEC CPU®、および SPECpower® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。
- 9xx5-151: TPCxAI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、複数の VM インスタンスを実行した場合の 2025 年 4 月 1 日時点の AMD 社内テストに基づくものです。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。2P AMD EPYC 9965 (合計 6067.53 AIUCpm、合計 384 コア、500W TDP、AMD リファレンス システム、1.5 TB 24x64 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 24.04 LTS カーネル 6.13、SMT=ON、Determinism=Power、Mitigations=On)。2P AMD EPYC 9755 (合計 4073.42 AIUCpm、合計 256 コア、500W TDP、AMD リファレンス システム、1.5 TB 24x64 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04 LTS カーネル 6.13、SMT=ON、Determinism=Power、Mitigations=On)。2P Intel Xeon 6980P (合計 3550.50 AIUCpm、合計 256 コア、500W TDP、プロダクション システム、1.5 TB 24x64 GB DDR5-6400、4x1 GbE Broadcom NetXtreme BCM5719 ギガビット イーサネット PCIe、3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04 LTS カーネル 6.13、SMT=ON、Performance Bias、Mitigations=On)。実際の結果は、システム構成、ソフトウェア バージョン、BIOS 設定などの要因によって異なる場合があります。TPC、TPC Benchmark、および TPC-H は、Transaction Processing Performance Council の商標です。
- 9xx5-169: Llama-3.3-70B のレイテンシ制約付きのスループット (グッドプット) は、2025 年 5 月 14 日時点の AMD 社内テストに基づきます。構成: Llama-3.3-70B、vLLM API サーバー v1.0、データ セット: Sonnet3.5-SlimOrcaDedupCleaned、TP8、最大リクエスト数 512 (ダイナミック バッチ処理)、レイテンシ制約付きの最初のトークンまでの時間 (300 ミリ秒、400 ミリ秒、500 ミリ秒、600 ミリ秒)、OpenMP 128、トークン数/秒の測定結果です。2P AMD EPYC 9575F (合計 128 コア、400 W TDP、プロダクション システム、1.5 TB 24x64 GB DDR5-6400 を 6000 MT/秒で実行、2 x 25 GbE ConnectX-6 Lx MT2894、4x 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Micron_7450_MTFDKCC800TFS 800 GB NVMe (OS 用)、Ubuntu 22.04.3 LTS、kernel=5.15.0-117-generic、BIOS 3.2、SMT=OFF、Determinism=power、mitigations=off、8x NVIDIA H100)。2P Intel Xeon 8592+ (合計 128 コア、350 W TDP、プロダクション システム、1 TB 16x64 GB DDR5-5600、2 x 25 GbE ConnectX-6 Lx (MT2894)、4x 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Micron_7450_MTFDKBA480TFR 480 GB NVMe、Ubuntu 22.04.3 LTS、kernel-5.15.0-118-generic、SMT=OFF、Performance Bias、Mitigations=off、8x NVIDIA H100)。結果: CPU 300 400 500 600; 8592+ 0 126.43 1565.65 1987.19; 9575F 346.11 2326.21; 2531.38 2572.42; 相対 NA 18.40 1.62 1.29。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。ark.intel.com からの TDP 情報
- 9xx5-013: 公式 MLPerf™ 推論スコア v4.1 Llama2-70B-99.9 サーバー トークン数/秒とオフライン トークン数/秒の結果は、2024 年 9 月 1 日に、https://mlcommons.org/benchmarks/inference-datacenter/ の次のエントリから取得しました。4.1-0070 (プレビュー) および 4.1.0022。MLPerf™ の名称とロゴは、米国およびその他の国における MLCommons Association の商標です。All rights reserved.不正な使用は固く禁じられています。詳細については、www.mlcommons.org をご覧ください。
- GD-183A: AMD Infinity Guard の機能は、EPYC™ プロセッサの世代および/またはシリーズによって異なります。Infinity Guard のセキュリティ機能は、サーバー OEM および/またはクラウド サービス プロバイダーにより有効化されている必要があります。これらの機能のサポートについては、OEM またはプロバイダーに確認してください。Infinity Guard の詳細はこちら: https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html。
- 9xx5-152A: Deepseek-R1-671B のスループットは、2025 年 1 月 28 日時点の AMD 社内テストに基づきます。構成: llama.cpp フレームワーク、1.58 ビット量子化 (UD_IQ1_S、1.56 ビットにおける MoE)、バッチ サイズ 1 および 4、16C インスタンス、ユース ケース入力/出力トークン構成: [チャットボット = 128/128、エッセイ = 128/1024、要約 = 1024/128、書き換え = 1024/1024]。2P AMD EPYC 9965 (合計 384 コア、500 W TDP、リファレンス システム、3 TB 24x128 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 22.04.3 LTS | 5.15.0-105-generic、SMT=ON、Determinism=Power、Mitigations=On)。2P AMD EPYC 9755 (合計 256 コア、500 W TDP、リファレンス システム、3 TB 24x128 GB DDR5-6400、2 x 40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 22.04.3 LTS | 5.15.0-105-generic、SMT=ON、Determinism=Power、Mitigations=On)。2P Intel Xeon 6980P (合計 256 コア、500 W TDP、プロダクション システム、3 TB 24x64 GB DDR5-6400、4 x 1 GbE Broadcom NetXtreme BCM5719 ギガビット イーサネット PCIe、3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04.2 LTS | 6.13.2-061302-generic、SMT=ON、Performance Bias、Mitigations=On)。結果: BS=1 6980P 9755 9965 Rel9755 Rel9965、チャットボット 47.31 61.88 70.344 1.308 1.487、エッセイ 42.97 56.04 61.608 1.304 1.434、要約 44.99 59.39 62.304 1.32 1.385、書き換え 41.8 68.44 55.08 1.637 1.318。BS=4 6980P 9755 Rel9755 Rel9965、チャットボット 76.01 104.46 143.496 1.374 1.888、エッセイ 67.89 93.68 116.064 1.38 1.71、要約 70.88 103.39 99.96 1.459 1.41、書き換え 65 87.9 78.12 1.352 1.202。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- 比較は、2024 年 10 月 10 日時点で現在出荷されているサーバーのスレッド密度、パフォーマンス、機能、プロセス テクノロジ、および統合されたセキュリティ機能に基づいています。EPYC 9005 シリーズ CPU は、最高のスレッド密度 [EPYC-025B] を提供し、500 以上のパフォーマンス世界記録で業界をリード [EPYC-023F]、パフォーマンス世界記録、エンタープライズ リーダーシップ Java® オペレーション/秒パフォーマンス [EPYCWR-20241010-260]、浮動小数点スループット性能でトップの HPC リーダーシップ [EPYCWR-2024-1010-381]、TPCx-AI 性能で AI のエンドツーエンドの性能 [EPYCWR-2024-1010-525]、最高の電力効率スコア [EPYCWR-20241010-326] を達成しています。第 5 世代 EPYC シリーズでは、DDR5 メモリ チャネルを 50% 増加 [EPYC-033C]、メモリ帯域幅を 70% 拡大 [EPYC-032C]、I/O スループット用の PCIe® Gen5 レーンを 70% 増強 [EPYC-035C] してサポートしています。また、最大 5 倍の L3 キャッシュ/コア [EPYC-043C] によりデータ アクセスを高速化し、先進的な 3-4 nm テクノロジを採用、Secure Memory Encryption + Secure Encrypted Virtualization (SEV) + SEV 暗号化状態 + SEV セキュア ネスト ページングなどのセキュリティ機能を提供しています。詳細は、AMD EPYC アーキテクチャのホワイト ペーパー (https://library.amd.com/l/3f4587d147382e2/) を参照してください。
- 9xx5-164: FAISS (実行/時) のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。FAISS 構成: バージョン 1.8.0、sift1m データ セット、32 コア インスタンス、FP32。2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、mitigations=on、Determinism=Power、NPS=12P)。AMD EPYC 9755 (合計 256 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、mitigations=on、Determinism=Power、NPS=12P)。Xeon 6980P (合計 256 コア、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、mitigations=on、Performance Bias)。結果: CPU スループット相対値: 2P 6980P – 36.63 (1.0)/2P 9755 – 46.86 (1.279)/2P 9965 – 58.6 (1.600)。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因によって異なります。
- 9xx5-162: XGBoost (実行/時) のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。XGBoost 構成: バージョン 1.7.2、Higgs データ セット、32 コア インスタンス、FP32。2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、Mitigations=On、Determinism=Power、NPS=1)。2P AMD EPYC 9755 (合計 256 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、Mitigations=On、Determinism=Power、NPS=1)。2P Intel Xeon 6980P (合計 256 コア、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、Mitigations=On、Performance Bias)。結果: CPU Throughput Relative: 2P 6980P – 400 (1.0)/2P 9755 – 436 (1.090)/2P 9965 – 771 (1.928)。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因によって異なります。
- 9xx5-156: Llama3.1-8B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。Llama3.1-8B の構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計コア数 384)、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、(SMT=Off、mitigations=On、Determinism=Power)、NPS = 1、ZenDNN 5.0.1。2P AMD EPYC 9755 (合計コア数 256)、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 6.8.0-52-generic、BIOS RVOT1004A、(SMT=Off、mitigations=On、Determinism=Power)、NPS=1、ZenDNN 5.0.1。2P Xeon 6980P (合計コア数 256)、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、1.0 Gbps イーサネット コントローラー X710 for 10GBASE-T、Micron 7450 MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0 (SMT=Off、mitigations=On、Performance Bias)、IPEX 2.6.0。結果: CPU: 6980P/9755/9965、要約: 1/ n/a /1.093。翻訳: 1/1.062/1.334、エッセイ: 1/ n/a /1.14。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-158: GPT-J-6B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。GPT-J-6B 構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計コア数 384、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、SMT=Off、mitigations=On、Determinism=Power、NPS = 1、ZenDNN 5.0.1、Python 3.10.12)。2P AMD EPYC 9755 (合計コア数 256、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 6.8.0-52-generic、BIOS RVOT1004A、SMT=Off、mitigations=On、Determinism=Power、NPS=1、ZenDNN 5.0.1、Python 3.10.12)。2P Xeon 6980P (合計コア数 256、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron 7450 MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、mitigations=On、Performance Bias、IPEX 2.6.0、Python 3.10.12)。結果: CPU 6980P 9755 9965、要約 1 1.034 1.279、チャットボット 1 0.975 1.163、翻訳 1 1.021 0.93、エッセイ 1 0.978 1.108、キャプション 1 0.913 1.12、全体 1 0.983 1.114。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-166: Llama3.2-1B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。Llama3.3-1B の構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、SMT=off、mitigations=on、Determinism=Power、NPS=1、ZenDNN 5.0.1、Python 3.10.2)。2P Xeon 6980P (合計 256 コア、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic、BIOS 1.0、SMT=off、mitigations=on、Performance Bias、IPEX 2.6.0、Python 3.12.3)。結果: CPU 6980P 9965、要約 1 1.213、翻訳 1 1.364、エッセイ 1 1.271。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-012: TPCx-AI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、2024 年 9 月 5 日に複数の VM インスタンスを実行した AMD 社内テストに基づいています。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。
2P AMD EPYC 9965 (合計 384 コア)、12 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9755 (合計 256 コア)、8 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9654 (合計 192 コア) 6 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)
比較対象: 2P Xeon Platinum 8592+ (合計 128 コア)、4 32 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled)
結果:
CPU 相対中央値 (世代間)
Turin 192 コア、12 Inst 6067.531 3.775 2.278
Turin 128 コア、8 Inst 4091.85 2.546 1.536
Genoa 96 コア、6 Inst 2663.14 1.657 1
EMR 64 コア、4 Inst 1607.417 1 NA
実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。
脚注
- 9xxTCO-019[DM1] [MK2]: このシナリオには多くの仮定と推定が含まれており、AMD の内部調査と最良近似に基づいています。このシナリオ中に示される数値は、情報提供のみを目的とした例であり、実際のテストに対する意思決定の基礎としては使用しないでください。AMD サーバーと温室効果ガス排出量 TCO (総所有コスト) 評価ツール (バージョン 1.53) では、2025 年 9 月 30 日時点において、SPECrate2017_int_base で 391,000 ユニットの TOTAL_PERFORMANCE を実現するために必要となる特定の AMD EPYC™ と Intel® Xeon® CPU ベースのサーバー ソリューションを比較しています。この分析は、SPECrate2017_int_base スコア 3230 の 2P AMD 192 コア EPYC_9965 搭載サーバー (https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf) を、SPECrate2017_int_base スコア 2510 の 2P Intel Xeon 128 コア Xeon_6980P 搭載サーバー (https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf) と、SPECrate2017_int_base スコア 391 のレガシ 2P Intel Xeon 28 コア Platinum_8280 搭載サーバー (https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf) と比較したものです。2025 年の「International Country Specific Electricity Factors」のデータを活用した環境影響の推定値は、https://www.carbondi.com/#electricity-factors/ で確認できます。また、本分析で使用した「US EPA Greenhouse Gas Equivalencies Calculator」は 2024 年 9 月 4 日に取得したもので、https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator で参照できます。その他の詳細については、https://www.amd.com/claims/9xx5TCO-019 をご覧ください。
- 9xx5-128A: SPECrate®2017_int_base の比較は、www.spec.org に掲載された 2025 年 5 月 9 日時点のスコアに基づいています。2P AMD EPYC 9965 (3230 SPECrate®2017_int_base、合計 384 コア、500 W TDP、CPU あたりのコスト $14,813)、6.460 SPECrate®2017_int_base/CPU あたりの消費電力、0.218 SPECrate®2017_int_base/CPU あたりのコスト (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html)。2P AMD EPYC 9755 (2840 SPECrate®2017_int_base、合計 256 コア、500 W TDP、CPU あたりのコスト $12,984)、5.680 SPECrate®2017_int_base/CPU あたりの消費電力、0.219 SPECrate®2017_int_base/CPU あたりのコスト (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html)。2P Intel Xeon 6980P (2510 SPECrate®2017_int_base、合計 256 コア、500 W TDP、CPU あたりのコスト $12,460)、5.020 SPECrate®2017_int_base/CPU あたりの消費電力、0.201 SPECrate®2017_int_base/CPU あたりのコスト (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html)。SPEC®、SPEC CPU®、および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。Intel CPU の TDP と価格は 2025 年 4 月 17 日現在のものです。https://ark.intel.com/ をご覧ください。
- 9xx5-134: SPECpower_ssj® 2008 の比較は、www.spec.org に掲載された 2025 年 4 月 30 日時点のスコアに基づいています。2P AMD EPYC 9965 (35920 ssj_ops/watt、合計 384 コア、https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html)。2P AMD EPYC 9755 (29950 ssj_ops/watt、合計 256 コア、https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html)。2P Intel Xeon 6980P (21679 ssj_ops/watt、合計 256 コア、https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html)。SPEC®、SPEC CPU®、および SPECpower® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。
- 9xx5-151: TPCxAI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、複数の VM インスタンスを実行した場合の 2025 年 4 月 1 日時点の AMD 社内テストに基づくものです。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。2P AMD EPYC 9965 (合計 6067.53 AIUCpm、合計 384 コア、500W TDP、AMD リファレンス システム、1.5 TB 24x64 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 24.04 LTS カーネル 6.13、SMT=ON、Determinism=Power、Mitigations=On)。2P AMD EPYC 9755 (合計 4073.42 AIUCpm、合計 256 コア、500W TDP、AMD リファレンス システム、1.5 TB 24x64 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04 LTS カーネル 6.13、SMT=ON、Determinism=Power、Mitigations=On)。2P Intel Xeon 6980P (合計 3550.50 AIUCpm、合計 256 コア、500W TDP、プロダクション システム、1.5 TB 24x64 GB DDR5-6400、4x1 GbE Broadcom NetXtreme BCM5719 ギガビット イーサネット PCIe、3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04 LTS カーネル 6.13、SMT=ON、Performance Bias、Mitigations=On)。実際の結果は、システム構成、ソフトウェア バージョン、BIOS 設定などの要因によって異なる場合があります。TPC、TPC Benchmark、および TPC-H は、Transaction Processing Performance Council の商標です。
- 9xx5-169: Llama-3.3-70B のレイテンシ制約付きのスループット (グッドプット) は、2025 年 5 月 14 日時点の AMD 社内テストに基づきます。構成: Llama-3.3-70B、vLLM API サーバー v1.0、データ セット: Sonnet3.5-SlimOrcaDedupCleaned、TP8、最大リクエスト数 512 (ダイナミック バッチ処理)、レイテンシ制約付きの最初のトークンまでの時間 (300 ミリ秒、400 ミリ秒、500 ミリ秒、600 ミリ秒)、OpenMP 128、トークン数/秒の測定結果です。2P AMD EPYC 9575F (合計 128 コア、400 W TDP、プロダクション システム、1.5 TB 24x64 GB DDR5-6400 を 6000 MT/秒で実行、2 x 25 GbE ConnectX-6 Lx MT2894、4x 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Micron_7450_MTFDKCC800TFS 800 GB NVMe (OS 用)、Ubuntu 22.04.3 LTS、kernel=5.15.0-117-generic、BIOS 3.2、SMT=OFF、Determinism=power、mitigations=off、8x NVIDIA H100)。2P Intel Xeon 8592+ (合計 128 コア、350 W TDP、プロダクション システム、1 TB 16x64 GB DDR5-5600、2 x 25 GbE ConnectX-6 Lx (MT2894)、4x 3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Micron_7450_MTFDKBA480TFR 480 GB NVMe、Ubuntu 22.04.3 LTS、kernel-5.15.0-118-generic、SMT=OFF、Performance Bias、Mitigations=off、8x NVIDIA H100)。結果: CPU 300 400 500 600; 8592+ 0 126.43 1565.65 1987.19; 9575F 346.11 2326.21; 2531.38 2572.42; 相対 NA 18.40 1.62 1.29。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。ark.intel.com からの TDP 情報
- 9xx5-013: 公式 MLPerf™ 推論スコア v4.1 Llama2-70B-99.9 サーバー トークン数/秒とオフライン トークン数/秒の結果は、2024 年 9 月 1 日に、https://mlcommons.org/benchmarks/inference-datacenter/ の次のエントリから取得しました。4.1-0070 (プレビュー) および 4.1.0022。MLPerf™ の名称とロゴは、米国およびその他の国における MLCommons Association の商標です。All rights reserved.不正な使用は固く禁じられています。詳細については、www.mlcommons.org をご覧ください。
- GD-183A: AMD Infinity Guard の機能は、EPYC™ プロセッサの世代および/またはシリーズによって異なります。Infinity Guard のセキュリティ機能は、サーバー OEM および/またはクラウド サービス プロバイダーにより有効化されている必要があります。これらの機能のサポートについては、OEM またはプロバイダーに確認してください。Infinity Guard の詳細はこちら: https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html。
- 9xx5-152A: Deepseek-R1-671B のスループットは、2025 年 1 月 28 日時点の AMD 社内テストに基づきます。構成: llama.cpp フレームワーク、1.58 ビット量子化 (UD_IQ1_S、1.56 ビットにおける MoE)、バッチ サイズ 1 および 4、16C インスタンス、ユース ケース入力/出力トークン構成: [チャットボット = 128/128、エッセイ = 128/1024、要約 = 1024/128、書き換え = 1024/1024]。2P AMD EPYC 9965 (合計 384 コア、500 W TDP、リファレンス システム、3 TB 24x128 GB DDR5-6400、2x40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 22.04.3 LTS | 5.15.0-105-generic、SMT=ON、Determinism=Power、Mitigations=On)。2P AMD EPYC 9755 (合計 256 コア、500 W TDP、リファレンス システム、3 TB 24x128 GB DDR5-6400、2 x 40 GbE Mellanox CX-7 (MT2910)、3.84 TB Samsung MZWLO3T8HCLS-00A07 NVMe、Ubuntu® 22.04.3 LTS | 5.15.0-105-generic、SMT=ON、Determinism=Power、Mitigations=On)。2P Intel Xeon 6980P (合計 256 コア、500 W TDP、プロダクション システム、3 TB 24x64 GB DDR5-6400、4 x 1 GbE Broadcom NetXtreme BCM5719 ギガビット イーサネット PCIe、3.84 TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe、Ubuntu 24.04.2 LTS | 6.13.2-061302-generic、SMT=ON、Performance Bias、Mitigations=On)。結果: BS=1 6980P 9755 9965 Rel9755 Rel9965、チャットボット 47.31 61.88 70.344 1.308 1.487、エッセイ 42.97 56.04 61.608 1.304 1.434、要約 44.99 59.39 62.304 1.32 1.385、書き換え 41.8 68.44 55.08 1.637 1.318。BS=4 6980P 9755 Rel9755 Rel9965、チャットボット 76.01 104.46 143.496 1.374 1.888、エッセイ 67.89 93.68 116.064 1.38 1.71、要約 70.88 103.39 99.96 1.459 1.41、書き換え 65 87.9 78.12 1.352 1.202。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- 比較は、2024 年 10 月 10 日時点で現在出荷されているサーバーのスレッド密度、パフォーマンス、機能、プロセス テクノロジ、および統合されたセキュリティ機能に基づいています。EPYC 9005 シリーズ CPU は、最高のスレッド密度 [EPYC-025B] を提供し、500 以上のパフォーマンス世界記録で業界をリード [EPYC-023F]、パフォーマンス世界記録、エンタープライズ リーダーシップ Java® オペレーション/秒パフォーマンス [EPYCWR-20241010-260]、浮動小数点スループット性能でトップの HPC リーダーシップ [EPYCWR-2024-1010-381]、TPCx-AI 性能で AI のエンドツーエンドの性能 [EPYCWR-2024-1010-525]、最高の電力効率スコア [EPYCWR-20241010-326] を達成しています。第 5 世代 EPYC シリーズでは、DDR5 メモリ チャネルを 50% 増加 [EPYC-033C]、メモリ帯域幅を 70% 拡大 [EPYC-032C]、I/O スループット用の PCIe® Gen5 レーンを 70% 増強 [EPYC-035C] してサポートしています。また、最大 5 倍の L3 キャッシュ/コア [EPYC-043C] によりデータ アクセスを高速化し、先進的な 3-4 nm テクノロジを採用、Secure Memory Encryption + Secure Encrypted Virtualization (SEV) + SEV 暗号化状態 + SEV セキュア ネスト ページングなどのセキュリティ機能を提供しています。詳細は、AMD EPYC アーキテクチャのホワイト ペーパー (https://library.amd.com/l/3f4587d147382e2/) を参照してください。
- 9xx5-164: FAISS (実行/時) のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。FAISS 構成: バージョン 1.8.0、sift1m データ セット、32 コア インスタンス、FP32。2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、mitigations=on、Determinism=Power、NPS=12P)。AMD EPYC 9755 (合計 256 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、mitigations=on、Determinism=Power、NPS=12P)。Xeon 6980P (合計 256 コア、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、mitigations=on、Performance Bias)。結果: CPU スループット相対値: 2P 6980P – 36.63 (1.0)/2P 9755 – 46.86 (1.279)/2P 9965 – 58.6 (1.600)。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因によって異なります。
- 9xx5-162: XGBoost (実行/時) のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。XGBoost 構成: バージョン 1.7.2、Higgs データ セット、32 コア インスタンス、FP32。2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、Mitigations=On、Determinism=Power、NPS=1)。2P AMD EPYC 9755 (合計 256 コア、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 5.15 カーネル、BIOS RVOT1004A、SMT=Off、Mitigations=On、Determinism=Power、NPS=1)。2P Intel Xeon 6980P (合計 256 コア、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、Mitigations=On、Performance Bias)。結果: CPU Throughput Relative: 2P 6980P – 400 (1.0)/2P 9755 – 436 (1.090)/2P 9965 – 771 (1.928)。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因によって異なります。
- 9xx5-156: Llama3.1-8B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。Llama3.1-8B の構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計コア数 384)、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、(SMT=Off、mitigations=On、Determinism=Power)、NPS = 1、ZenDNN 5.0.1。2P AMD EPYC 9755 (合計コア数 256)、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 6.8.0-52-generic、BIOS RVOT1004A、(SMT=Off、mitigations=On、Determinism=Power)、NPS=1、ZenDNN 5.0.1。2P Xeon 6980P (合計コア数 256)、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、1.0 Gbps イーサネット コントローラー X710 for 10GBASE-T、Micron 7450 MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0 (SMT=Off、mitigations=On、Performance Bias)、IPEX 2.6.0。結果: CPU: 6980P/9755/9965、要約: 1/ n/a /1.093。翻訳: 1/1.062/1.334、エッセイ: 1/ n/a /1.14。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-158: GPT-J-6B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。GPT-J-6B 構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計コア数 384、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、SMT=Off、mitigations=On、Determinism=Power、NPS = 1、ZenDNN 5.0.1、Python 3.10.12)。2P AMD EPYC 9755 (合計コア数 256、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.4 LTS、Linux 6.8.0-52-generic、BIOS RVOT1004A、SMT=Off、mitigations=On、Determinism=Power、NPS=1、ZenDNN 5.0.1、Python 3.10.12)。2P Xeon 6980P (合計コア数 256、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron 7450 MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS、Linux 6.8.0-52-generic、BIOS 1.0、SMT=Off、mitigations=On、Performance Bias、IPEX 2.6.0、Python 3.10.12)。結果: CPU 6980P 9755 9965、要約 1 1.034 1.279、チャットボット 1 0.975 1.163、翻訳 1 1.021 0.93、エッセイ 1 0.978 1.108、キャプション 1 0.913 1.12、全体 1 0.983 1.114。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-166: Llama3.2-1B のスループットは、2025 年 4 月 8 日時点の AMD 社内テストに基づきます。Llama3.3-1B の構成: BF16、バッチ サイズ 32、32C インスタンス。ユース ケースの入力/出力トークン構成: [要約 = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024]2P AMD EPYC 9965 (合計 384 コア、1.5 TB 24x64 GB DDR5-6400、1.0 Gbps NIC、3.84 TB Samsung MZWLO3T8HCLS-00A07、Ubuntu® 22.04.5 LTS、Linux 6.9.0-060900-generic、BIOS RVOT1004A、SMT=off、mitigations=on、Determinism=Power、NPS=1、ZenDNN 5.0.1、Python 3.10.2)。2P Xeon 6980P (合計 256 コア、AMX On、1.5 TB 24x64 GB DDR5-8800 MRDIMM、10GBASE-T 対応 1.0 Gbps イーサネット コントローラー X710、Micron_7450_MTFDKBG1T9TFR 2 TB、Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic、BIOS 1.0、SMT=off、mitigations=on、Performance Bias、IPEX 2.6.0、Python 3.12.3)。結果: CPU 6980P 9965、要約 1 1.213、翻訳 1 1.364、エッセイ 1 1.271。実際の結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-012: TPCx-AI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、2024 年 9 月 5 日に複数の VM インスタンスを実行した AMD 社内テストに基づいています。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。
2P AMD EPYC 9965 (合計 384 コア)、12 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9755 (合計 256 コア)、8 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9654 (合計 192 コア) 6 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)
比較対象: 2P Xeon Platinum 8592+ (合計 128 コア)、4 32 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled)
結果:
CPU 相対中央値 (世代間)
Turin 192 コア、12 Inst 6067.531 3.775 2.278
Turin 128 コア、8 Inst 4091.85 2.546 1.536
Genoa 96 コア、6 Inst 2663.14 1.657 1
EMR 64 コア、4 Inst 1607.417 1 NA
実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。