オートモーティブ
コンピューター ビジョン モデルは自動運転車の推進を後押しし、標識や歩行者、ほかの車両を認識して回避できるようにします。自然言語処理モデルは、車内テレマティクスに対する音声での指示の認識を支援します。
特集ウェビナー
AMD EPYC™ 9004 シリーズ プロセッサにより、小規模 AI モデル、多くの一般的な ML および推論ワークロード、さらに AI で拡張された従来の演算ワークロードに対して、効率の良い CPU ベースの AI プロセッシングを展開できます。その詳細をご紹介します。
エンタープライズ AI 推論ワークロードに対応する業界トップクラスのポートフォリオ
AI 推論は、トレーニング済みの AI モデルを使用して新しいデータに対する予測を実行します。 AMD はモデル サイズやアプリケーション要件に応じて AI 推論向けの幅広いソリューションを提供しています。 AMD EPYC™ CPU は、データへの近接度が重要な小規模から中規模の AI モデルとワークロードで真価を発揮します。AMD Instinct™ GPU は、きわめて高いパフォーマンスとスケールを必要とする大規模モデルと専用 AI 展開に最適です。どちらも優れたパフォーマンスと効率を提供するため、あとはニーズに合ったソリューションを選んでいただくだけです。
- 小
- 中
- 大
小規模モデル
| モデル サイズ | 種類 | メリット | デメリット | 一般的なユース ケース |
| 小 | 一般 |
|
|
|
| 生成 |
|
|
|
中規模モデル
| モデル サイズ | 種類 | メリット | デメリット | 一般的なユース ケース |
| 中 | 一般 |
|
|
|
| 予測 |
|
|
|
大規模モデル
| モデル サイズ | 種類 | メリット | デメリット | 一般的なユース ケース |
| 大 | 生成 |
|
|
|
| 一般 |
|
|
|
|
| 予測 |
|
|
|
用途と業種
AI モデルは、コンピューター ビジョン、自然言語処理、レコメンデーション システムなどに統合され、多数の業界のビジネスに大きな影響を及ぼしています。企業はこのようなモデルを、物体認識、異常の分類、書き言葉や話し言葉の理解、レコメンデーションの作成に利用しています。このようなモデルの開発を加速することは、業種を問わず企業にメリットをもたらします。
エンタープライズ AI 推論ワークロードに最適な選択肢
CPU のみとして展開される場合でも、大規模モデルを実行する GPU のホストとして使用される場合でも、AMD EPYC™ 9004 シリーズ プロセッサは最新のオープン スタンダード テクノロジを採用した設計でエンタープライズ AI 推論ワークロードを加速させます。
- ハードウェア
- ソフトウェア
- セキュリティ
AI 推論向けのアーキテクチャ
最大 128 個の AMD "Zen 4" コアと AVX-512 命令サポートが AI 推論ワークロードに最適な並列処理を提供し、GPU アクセラレーションの必要性を軽減します。
卓越した電力効率: 最も電力効率に優れたサーバーを実現する AMD EPYC プロセッサは、卓越したパフォーマンスを発揮し、エネルギー コストの削減に貢献します。1
高速処理と I/O: 世代間で 14% 向上したクロック サイクルあたりの実行命令数、DDR5 メモリ、PCIe® Gen 5 I/O がデータの高速処理を実現します。2
AI 推論に向けた AMD ソフトウェアの最適化
フレームワーク サポート: AMD は、TensorFlow、PyTorch、ONNX Runtime など、最も広く普及している AI フレームワークをサポートし、画像分類やレコメンデーション エンジンなどの多様なユース ケースに対応します。
オープンソースと互換性: 最適化は広く普及しているフレームワークに統合され、広範な互換性とオープンソースのアップストリーム適合性を提供しています。 さらに、AMD は Hugging Face と共同で、ZenDNN によってオープンソース モデルをすぐに使える状態にしています。
ZenDNN プラグイン: これらのプラグインは、演算子の最適化、マイクロカーネルの活用、AMD EPYC コアへの効率的なマルチスレッドの実装により、AI 推論ワークロードを加速します。
画像を拡大
AI の時代になり、データ セキュリティの重要性はさらに増しています。
デジタイゼーション、クラウド コンピューティング、AI、その他の新興テクノロジの利用によって、データの増加率がさらに加速し、高度なセキュリティ対策の必要性がさらに切迫しています。このセキュリティの必要性の高まりは、国際的なプライバシー規制の強化や違反の厳罰化によってさらに増幅し、セキュリティ リスクが高まる中、データの価値はかつてないほど高騰しています。
シリコン レベルで組み込まれている AMD Infinity Guard は、内外部の脅威に対抗してデータを安全に維持するために必要となる高度な機能を提供します。3
AMD EPYC™ 9004 プロセッサベース サーバーとクラウド インスタンスは、顧客とデータに近いところで、高速で効率に優れた AI 対応ソリューションを実現します。
小/中規模 AI ワークロード モデル
2P サーバーで Llama2-7B CHAT-HF および 13B CHAT-HF LLM を実行⁴ (相対トークン/秒)
1.36 倍
1.0 倍
2P サーバーで Phi-3 Mini (4K) を実行⁵ (相対トークン/秒)
1.24 倍
1.0 倍
AWS インスタンスで DLRMv2 を Int8 精度で実行⁶
約 1.44 倍
1.0 倍
AWS インスタンスで MiniLM を PyTorch および Neural Magic Deepsparse エンジンを使用して FP32 精度で実行⁷
約 1.78x
1.0 倍
AWS インスタンスで Llama2-7B を BF16 精度で実行⁸
約 1.19x
1.0 倍
一般的な ML ワークロード モデル
2P サーバーで Clustering FAISS を実行⁹ (クラスタリング/秒)
最大約 2 倍
1.0 倍
2P サーバーで XGBoost を実行、ヒッグス粒子爆発¹⁰ (スループット)
最大約 1.7 倍
1.0 倍
2P サーバーでランダム デシジョン フォレストの分類を実行 (SciKit-Learning RandomForest airline_ohe スループット)¹¹
最大約 1.36 倍
1.0 倍
2P サーバーで OpenVINO™ Road¹² セグメンテーション推論を実行 (CPU W あたりのフレーム/秒)
最大約 2.4 倍
1.0 倍
2P サーバーで TPCx-AI @ SF30 を実行¹³ (スループット/分)
最大約 1.65 倍
1.0 倍
リソース
脚注
- EPYC-028D: SPECpower_ssj® 2008、SPECrate®2017_int_energy_base、および SPECrate®2017_fp_energy_base は、2024 年 2 月 21 日時点で SPEC のウェブサイトに公開されている結果に基づいています。VMmark® サーバーのパワー パフォーマンス/サーバーおよびストレージのパワー パフォーマンス (PPKW) は、https://www.vmware.com/products/vmmark/results3x.1.html?sort=score に掲載された結果に基づいています。公開されている SPECpower_ssj®2008 の結果の中で、総合効率 overall ssj_ops/W の結果が最も高い 105 の製品には、すべて AMD EPYC プロセッサが搭載されています。SPECrate®2017 Integer (エネルギー ベース) においては、SPECrate®2017_int_energy_base performance/system W スコアが高い上位 8 の製品に AMD EPYC CPU が搭載されています。SPECrate®2017 Floating Point (エネルギー ベース) においては、SPECrate®2017_fp_energy_base performance/system W スコアが高い上位 12 の製品に AMD EPYC CPU が搭載されています。VMmark® サーバーのパワーパフォーマンス (PPKW) では、2 ソケットと 4 ソケットのマッチ ペア比較の上位 5 つの結果が、その他すべてのソケットの結果を上回っています。VMmark® のサーバーおよびストレージのパワーパフォーマンス (PPKW) では、総合スコアは最上位です。詳細なリストについては、https://www.amd.com/en/claims/epyc4#faq-EPYC-028D をご覧ください。AMD のサステナビリティ目標に関する詳細な情報は、https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html をご覧ください。SPEC® の詳細については、http://www.spec.org をご覧ください。SPEC、SPECrate、および SPECpower は Standard Performance Evaluation Corporation の登録商標です。VMmark は、米国またはその他の国における VMware の登録商標です。
- EPYC-038: 2022 年 9 月 19 日時点の AMD 社内テストに基づいています。第 4 世代 AMD EPYC™ 9554 CPU を、同じ固定周波数で第 3 世代 AMD EPYC™ 7763 CPU と比較したときに、どのくらいパフォーマンスが向上しているか幾何平均を求めました。比較にあたって、推定 SPECrate®2017_int_base、推定 SPECrate®2017_fp_base、代表的なサーバー ワークロードを含む、特定のワークロード一式 (33) を使用しました。SPEC® および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、SPEC.org をご覧ください。
- GD-183A: AMD Infinity Guard の機能は、EPYC™ プロセッサの世代および/またはシリーズによって異なります。Infinity Guard のセキュリティ機能は、サーバー OEM および/またはクラウド サービス プロバイダーにより有効化されている必要があります。これらの機能のサポートについては、OEM またはプロバイダーに確認してください。Infinity Guard の詳細については、https://www.amd.com/ja/technologies/infinity-guard をご覧ください。
- SP5-222: Llama2 実行時のワークロード処理のトークン数/秒は、2023 年 12 月 1 日時点での AMD 社内テストに基づきます。2P サーバー構成: 2P EPYC 9654 (96C/192T)、BIOS AMI RTI1001C (NPS=1、電力決定、SMT=OFF)、メモリ: 1.5 TB (24x 64 GB DDR5-4800)、ストレージ: NVMe 3.2T x 5 + NVMe 1T、OS: Ubuntu 22.04.2 LTS (Linux 5.15.0-84-generic)、ソフトウェア: Python 3.9.18、conda 4.12.0、huggingface-hub 0.17.3、intel-openmp 2023.2.0、mkl 2023.2.0、numpy 1.26.1、sentencepiece 0.1.99、tokenizers 0.14.1 torch 2.1.0+cpu、tpp-pytorch-extension 0.0.1、transformers 4.35.0、24 個のインスタンスを実行し、スコアは最大で平均 27.24 トークン/秒 (Llama2-13B-CHAT-HF、入力トークン サイズ: 8、bfloat16)、最大で平均 52.89 トークン/秒 (Llama2-7B-CHAT-HF、入力サイズ: 8、bfloat16)、2P Xeon Platinum 8480+ (56C/112T) の 1.36 倍のパフォーマンス、BIOS ESE110Q-1.10 (Profile=Maximum Performance、HT=OFF)、1 TB (16x 64 GB DDR5-4800)、ストレージ: NVMe 3.2T x 4、OS: Ubuntu 22.04.3 LTS (Linux 5.15.0-88-generic)、ソフトウェア: Python 3.9.18、conda 4.12.0、huggingface-hub 0.17.3、intel-openmp 2023.2.0、mkl 2023.2.0、numpy 1.26.1、sentencepiece 0.1.99、tokenizers 0.14.1 torch 2.1.0+cpu、tpp-pytorch-extension 0.0.1、transformers 4.35.0、14 個のインスタンスを実行し、スコアは最大で平均 20.08 トークン/秒 (Llama2-13B-CHAT-HF、入力トークン サイズ: 8、bfloat16)、最大で平均 38.98 トークン/秒 (Llama2-7B-CHAT-HF、入力トークン サイズ: 8、bfloat16)。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- TBD "SP5-289: Phi-3-mini スループットの結果は、2024 年 6 月 10 日時点での AMD 社内テストに基づきます。
Phi-3-mini 構成: シングル インスタンス、IPEX 2.3.0、BF16、バッチ サイズ 1、入力トークン 16、出力トークン 32。
サーバー構成:
2P EPYC 9654 (96C/192T)、Lenovo ThinkSystem SR665 V3、(SMT=off、NPS=1、Power Determinism、BIOS 1.56)、1.5 TB (24x 64 GB DDR5-5600 を 4800 MT/s で実行)、3.2 TB SSD、Ubuntu® 22.04.4 LTS。
2P Xeon Platinum 8592+ (64C/128T)、Lenovo ThinkSystem SR650 V3 (HT=off、NPS-1、Turbo Enabled、Profile=Maximum Performance、BIOS ESE122V-3.10)、1 TB (16x 64 GB DDR5-4800)、3.2TB NVMe、Ubuntu 22.04.4 LTS、AMX オン。
結果、Phi-3-mini 4K:
中央値 EMR と比較
Intel 8592+ 12.63 1.00
AMD EPYC 9654 15.68 1.241
結果、Phi-3-mini 128K
中央値 EMR と比較
Intel 8592+ 13.92 1
AMD EPYC 9654 15.21 1.093
- SP5C-065: AWS HPC7a.96xlarge の平均スコアとクラウド OPEX 削減率を、深層学習レコメンデーション モデル (dlrm-v2.99) をバッチ サイズ = 2000、Int8 精度、IPEX 拡張の OneDNN ライブラリで実行する M7i.48xl と比較。2024 年 6 月 11 日付けの米国東部 (オハイオ州) Linux® のオンデマンド料金を使用。M7i.48xl: $9.6768/時。HPC7a.96xlarge: $7.20/時。AWS の料金: https://aws.amazon.com/ec2/pricing/on-demand/
記載されているクラウド パフォーマンスの結果は、試験を実施した日付の構成に基づいています。基本構成の変更、および VM とそのリソースの配置、クラウド サービス プロバイダーによる最適化、アクセスしたクラウド リージョン、コテナント、システムで同時に実行したほかのワークロードのタイプなどの条件によって、結果は異なります。
- SP5C-070: AWS m7a.48xl 平均スコアとクラウド OPEX 削減率を、HuggingFace の all-MiniLM-L6-v2model を PyTorch と Neural Magic Deepsparse エンジンで実行し、24 回並行実行でバッチ サイズ = 1、入力トークン サイズ = 512、出力トークン サイズ = 128 で FP32 精度で実行する m7i.48xl と比較。2024 年 7 月 15 日付けの米国東部 (オハイオ州) Linux® のオンデマンド料金を使用。m7i48xl: $9.6768/時。 m7a.48xl: $11.12832/時。
AWS の料金: https://aws.amazon.com/ec2/pricing/on-demand/
記載されているクラウド パフォーマンスの結果は、試験を実施した日付の構成に基づいています。基本構成の変更、および VM とそのリソースの配置、クラウド サービス プロバイダーによる最適化、アクセスしたクラウド リージョン、コテナント、システムで同時に実行したほかのワークロードのタイプなどの条件によって、結果は異なります。
- SP5C-071: AWS M7a.8xl の平均スコアとクラウド OPEX 削減率を、Llama2 モデルを 7B パラメーター、BF16、Intel TPP ライブラリでシングル インスタンス、バッチ サイズ = 4、入力トークン サイズ = 2016、出力トークン サイズ = 256 で実行する m7i.8xl と比較。
記載されているクラウド パフォーマンスの結果は、試験を実施した日付の構成に基づいています。基本構成の変更、および VM とそのリソースの配置、クラウド サービス プロバイダーによる最適化、アクセスしたクラウド リージョン、コテナント、システムで同時に実行したほかのワークロードのタイプなどの条件によって、結果は異なります。
- SP5C-060: AWS m7a.4xl 平均スコアとクラウド OPEX 削減率を、BERT-Large- pruned80_quant-none.vnni モデルを FP32、バッチ サイズ = 1、128、256、入力トークン サイズ = 512、出力トークン サイズ = 512 で実行する M7i.4xl と比較。2024 年 6 月 11 日付けの米国東部 (オハイオ州) Linux® のオンデマンド料金を使用。M7i.4xl: $0.8064/時。M7a.4xl: $0.92736/時。記載されているクラウド パフォーマンスの結果は、試験を実施した日付の構成に基づいています。基本構成の変更、および VM とそのリソースの配置、クラウド サービス プロバイダーによる最適化、アクセスしたクラウド リージョン、コテナント、システムで同時に実行したほかのワークロードのタイプなどの条件によって、結果は異なります。
- SP5-185A: FAISS v1.7.4 実行時のワークロード処理のスループット 1000 は、2024 年 4 月 19 日時点での AMD 社内テストに基づきます。2P サーバー構成: 2P EPYC 9654 (96C/96T)、BIOS 1006C (SMT=off、NPS=1、Power Determinism)、1.5 TB (24x 64 GB DDR5-4800)、Samsung MZQL21T9HCJR-00A07 1.92 TB、8 インスタンスを実行している Ubuntu® 22.04.3 LTS/24 コア/インスタンス スコア 39.6 (スループット中央値) は 2P Xeon Platinum 8592+ (64C/64T) の 2.04 倍、BIOS 1.4.4 (HT=off、Profile=Maximum Performance)、1 TB (16x 64 GB DDR5-4800)、Intel SSDPF2KE032T1O 3.2 TB NVMe、8 インスタンスを実行している Ubuntu 22.04.3 LTS/16 コア/インスタンス スコア 19.4 (スループット中央値)。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- SP5-251: XGBoost 2.0.3 実行時のワークロード処理のスループットは、2024 年 4 月 19 日時点での AMD 社内テストに基づきます。2P サーバー構成: 2P EPYC 9654 (96C/192T)、BIOS 1006C (SMT=off、NPS=1、Power Determinism)、1.5 TB (24x 64 GB DDR5-4800)、Samsung MZQL21T9HCJR-00A07 1.92 TB、Ubuntu 22.04.3 LTS は、スコアが 203 エアライン中央値スループット (16 インスタンス/12 コア/インスタンスを実行) および 2057 ヒッグス中央値スループット (32 インスタンス/6 コア/インスタンスを実行) であり、2P Xeon Platinum 8592+ (64C/128T)、BIOS 1.4.4 (HT=off、Profile=Maximum Performance)、1 TB (16x 64 GB DDR5-4800)、Intel SSDPF2KE032T1O 3.2 TB NVMe、Ubuntu 22.04.3 LTS のスコアである 147 エアライン中央値スループット (8 インスタンス/16 コア/インスタンスを実行) および 1200 ヒッグス中央値スループット (4 インスタンス/32 コア/インスタンスを実行) と比較すると、パフォーマンスはそれぞれ 1.38 倍および 1.71 倍。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- SP5-184A: SciKit-Learning Random Forest v2023.2 airline_ohe データ セットのワークロード処理のスループットは、2024 年 4 月 19 日時点の AMD 社内テストに基づいています。2P サーバー構成: 2P EPYC 9654 (96C/96T)、BIOS 1006C (SMT=off、NPS=1、Power Determinism)、1.5 TB (24x 64 GB DDR5-4800)、2x Samsung MZQL21T9HCJR-00A07 1.7 TB、12 インスタンスを実行している Ubuntu® 22.04.3 LTS/16 コア/インスタンス スコア 166.8 (スループット中央値) は 2P Xeon Platinum 8592+ (64C/64T) の 1.36 倍、BIOS 1.4.4 (HT=off、Profile=Maximum Performance)、1 TB (16x 64 GB DDR5-4800)、Intel SSDPF2KE032T1O 3.2TB NVMe、8 インスタンスを実行している Ubuntu 22.04.3 LTS/16 コア/インスタンス スコア 123.1 (スループット中央値)。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- SP5-252: サードパーティのテスト OpenVINO 2023.2.dev での FPS 比較は、Phoronix レビュー https://www.phoronix.com/review/intel-xeon-platinum-8592/9 (2023 年 12 月 14 日時点) に記載されている次の一部の OpenVINO テストに基づいています。Vehicle Detection FP16、Person Detection FP16、Person Vehicle Bike Detection FP16、Road Segmentation ADAS FP16 および Face Detection Retail FP16。Road Segmentation ADAS FP16 は最大 2.36 倍の性能向上。AMD は、テストを独自に検証していません。スコアはシステム構成と、使用する決定モードによって異なります (Power Determinism を使用)。OpenVINO は、Intel Corporation またはその子会社の商標です。
- SP5-051A: TPCx-AI SF30 デリバティブ ワークロード比較テストは、2024 年 4 月 13 日に複数の VM インスタンスを実行した AMD 社内テストの結果に基づいています。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。AMD システム構成: プロセッサ: 2 x AMD EPYC 9654、周波数: 2.4 GHz | 3.7 GHz、コア数: ソケットあたり 96 個のコア (ソケットあたり 1 NUMA ドメイン)、L3 キャッシュ: 384 MB/ソケット (合計 768 MB)、メモリ: 1.5 TB (24) デュアルランク DDR5-5600 64 GB DIMM、1DPC (プラットフォームは最大 4800 MHz に対応)、NIC: 2 x 100 GbE Mellanox CX-5 (MT28800)、ストレージ: 3.2 TB Samsung MO003200KYDNC U.3 NVMe、BIOS: 1.56、BIOS 設定: SMT=ON、Determinism=Power、NPS=1、PPL=400W、Turbo Boost=Enabled、OS: Ubuntu® 22.04.3 LTS、試験構成: 6 インスタンス、64 vCPUs/インスタンス、2663 集約 AI ユース ケース/分。比較対象の Intel システム構成: プロセッサ: 2 x Intel® Xeon® Platinum 8592 +、周波数: 1.9 GHz | 3.9 GHz、コア数: ソケットあたり 64 個のコア (ソケットあたり 1 NUMA ドメイン)、L3 キャッシュ: 320 MB/ソケット (合計 640 MB)、メモリ: 1 TB (16) デュアルランク DDR5-5600 64 GB DIMM、1DPC、NIC: 4 x 1 GbE Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe、ストレージ: 3.84 TB KIOXIA KCMYXRUG3T84 NVMe、BIOS: ESE124B-3.11、BIOS 設定: Hyperthreading=Enabled、Turbo boost=Enabled、SNC=Disabled、OS: Ubuntu® 22.04.3 LTS、試験構成: 4 インスタンス、64 vCPU/インスタンス、1607 集約 AI ユース ケース/分。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。 TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。
脚注
- EPYC-028D: SPECpower_ssj® 2008、SPECrate®2017_int_energy_base、および SPECrate®2017_fp_energy_base は、2024 年 2 月 21 日時点で SPEC のウェブサイトに公開されている結果に基づいています。VMmark® サーバーのパワー パフォーマンス/サーバーおよびストレージのパワー パフォーマンス (PPKW) は、https://www.vmware.com/products/vmmark/results3x.1.html?sort=score に掲載された結果に基づいています。公開されている SPECpower_ssj®2008 の結果の中で、総合効率 overall ssj_ops/W の結果が最も高い 105 の製品には、すべて AMD EPYC プロセッサが搭載されています。SPECrate®2017 Integer (エネルギー ベース) においては、SPECrate®2017_int_energy_base performance/system W スコアが高い上位 8 の製品に AMD EPYC CPU が搭載されています。SPECrate®2017 Floating Point (エネルギー ベース) においては、SPECrate®2017_fp_energy_base performance/system W スコアが高い上位 12 の製品に AMD EPYC CPU が搭載されています。VMmark® サーバーのパワーパフォーマンス (PPKW) では、2 ソケットと 4 ソケットのマッチ ペア比較の上位 5 つの結果が、その他すべてのソケットの結果を上回っています。VMmark® のサーバーおよびストレージのパワーパフォーマンス (PPKW) では、総合スコアは最上位です。詳細なリストについては、https://www.amd.com/en/claims/epyc4#faq-EPYC-028D をご覧ください。AMD のサステナビリティ目標に関する詳細な情報は、https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html をご覧ください。SPEC® の詳細については、http://www.spec.org をご覧ください。SPEC、SPECrate、および SPECpower は Standard Performance Evaluation Corporation の登録商標です。VMmark は、米国またはその他の国における VMware の登録商標です。
- EPYC-038: 2022 年 9 月 19 日時点の AMD 社内テストに基づいています。第 4 世代 AMD EPYC™ 9554 CPU を、同じ固定周波数で第 3 世代 AMD EPYC™ 7763 CPU と比較したときに、どのくらいパフォーマンスが向上しているか幾何平均を求めました。比較にあたって、推定 SPECrate®2017_int_base、推定 SPECrate®2017_fp_base、代表的なサーバー ワークロードを含む、特定のワークロード一式 (33) を使用しました。SPEC® および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、SPEC.org をご覧ください。
- GD-183A: AMD Infinity Guard の機能は、EPYC™ プロセッサの世代および/またはシリーズによって異なります。Infinity Guard のセキュリティ機能は、サーバー OEM および/またはクラウド サービス プロバイダーにより有効化されている必要があります。これらの機能のサポートについては、OEM またはプロバイダーに確認してください。Infinity Guard の詳細については、https://www.amd.com/ja/technologies/infinity-guard をご覧ください。
- SP5-222: Llama2 実行時のワークロード処理のトークン数/秒は、2023 年 12 月 1 日時点での AMD 社内テストに基づきます。2P サーバー構成: 2P EPYC 9654 (96C/192T)、BIOS AMI RTI1001C (NPS=1、電力決定、SMT=OFF)、メモリ: 1.5 TB (24x 64 GB DDR5-4800)、ストレージ: NVMe 3.2T x 5 + NVMe 1T、OS: Ubuntu 22.04.2 LTS (Linux 5.15.0-84-generic)、ソフトウェア: Python 3.9.18、conda 4.12.0、huggingface-hub 0.17.3、intel-openmp 2023.2.0、mkl 2023.2.0、numpy 1.26.1、sentencepiece 0.1.99、tokenizers 0.14.1 torch 2.1.0+cpu、tpp-pytorch-extension 0.0.1、transformers 4.35.0、24 個のインスタンスを実行し、スコアは最大で平均 27.24 トークン/秒 (Llama2-13B-CHAT-HF、入力トークン サイズ: 8、bfloat16)、最大で平均 52.89 トークン/秒 (Llama2-7B-CHAT-HF、入力サイズ: 8、bfloat16)、2P Xeon Platinum 8480+ (56C/112T) の 1.36 倍のパフォーマンス、BIOS ESE110Q-1.10 (Profile=Maximum Performance、HT=OFF)、1 TB (16x 64 GB DDR5-4800)、ストレージ: NVMe 3.2T x 4、OS: Ubuntu 22.04.3 LTS (Linux 5.15.0-88-generic)、ソフトウェア: Python 3.9.18、conda 4.12.0、huggingface-hub 0.17.3、intel-openmp 2023.2.0、mkl 2023.2.0、numpy 1.26.1、sentencepiece 0.1.99、tokenizers 0.14.1 torch 2.1.0+cpu、tpp-pytorch-extension 0.0.1、transformers 4.35.0、14 個のインスタンスを実行し、スコアは最大で平均 20.08 トークン/秒 (Llama2-13B-CHAT-HF、入力トークン サイズ: 8、bfloat16)、最大で平均 38.98 トークン/秒 (Llama2-7B-CHAT-HF、入力トークン サイズ: 8、bfloat16)。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- TBD "SP5-289: Phi-3-mini スループットの結果は、2024 年 6 月 10 日時点での AMD 社内テストに基づきます。
Phi-3-mini 構成: シングル インスタンス、IPEX 2.3.0、BF16、バッチ サイズ 1、入力トークン 16、出力トークン 32。
サーバー構成:
2P EPYC 9654 (96C/192T)、Lenovo ThinkSystem SR665 V3、(SMT=off、NPS=1、Power Determinism、BIOS 1.56)、1.5 TB (24x 64 GB DDR5-5600 を 4800 MT/s で実行)、3.2 TB SSD、Ubuntu® 22.04.4 LTS。
2P Xeon Platinum 8592+ (64C/128T)、Lenovo ThinkSystem SR650 V3 (HT=off、NPS-1、Turbo Enabled、Profile=Maximum Performance、BIOS ESE122V-3.10)、1 TB (16x 64 GB DDR5-4800)、3.2TB NVMe、Ubuntu 22.04.4 LTS、AMX オン。
結果、Phi-3-mini 4K:
中央値 EMR と比較
Intel 8592+ 12.63 1.00
AMD EPYC 9654 15.68 1.241
結果、Phi-3-mini 128K
中央値 EMR と比較
Intel 8592+ 13.92 1
AMD EPYC 9654 15.21 1.093 - SP5C-065: AWS HPC7a.96xlarge の平均スコアとクラウド OPEX 削減率を、深層学習レコメンデーション モデル (dlrm-v2.99) をバッチ サイズ = 2000、Int8 精度、IPEX 拡張の OneDNN ライブラリで実行する M7i.48xl と比較。2024 年 6 月 11 日付けの米国東部 (オハイオ州) Linux® のオンデマンド料金を使用。M7i.48xl: $9.6768/時。HPC7a.96xlarge: $7.20/時。AWS の料金: https://aws.amazon.com/ec2/pricing/on-demand/
記載されているクラウド パフォーマンスの結果は、試験を実施した日付の構成に基づいています。基本構成の変更、および VM とそのリソースの配置、クラウド サービス プロバイダーによる最適化、アクセスしたクラウド リージョン、コテナント、システムで同時に実行したほかのワークロードのタイプなどの条件によって、結果は異なります。 - SP5C-070: AWS m7a.48xl 平均スコアとクラウド OPEX 削減率を、HuggingFace の all-MiniLM-L6-v2model を PyTorch と Neural Magic Deepsparse エンジンで実行し、24 回並行実行でバッチ サイズ = 1、入力トークン サイズ = 512、出力トークン サイズ = 128 で FP32 精度で実行する m7i.48xl と比較。2024 年 7 月 15 日付けの米国東部 (オハイオ州) Linux® のオンデマンド料金を使用。m7i48xl: $9.6768/時。 m7a.48xl: $11.12832/時。
AWS の料金: https://aws.amazon.com/ec2/pricing/on-demand/
記載されているクラウド パフォーマンスの結果は、試験を実施した日付の構成に基づいています。基本構成の変更、および VM とそのリソースの配置、クラウド サービス プロバイダーによる最適化、アクセスしたクラウド リージョン、コテナント、システムで同時に実行したほかのワークロードのタイプなどの条件によって、結果は異なります。 - SP5C-071: AWS M7a.8xl の平均スコアとクラウド OPEX 削減率を、Llama2 モデルを 7B パラメーター、BF16、Intel TPP ライブラリでシングル インスタンス、バッチ サイズ = 4、入力トークン サイズ = 2016、出力トークン サイズ = 256 で実行する m7i.8xl と比較。
記載されているクラウド パフォーマンスの結果は、試験を実施した日付の構成に基づいています。基本構成の変更、および VM とそのリソースの配置、クラウド サービス プロバイダーによる最適化、アクセスしたクラウド リージョン、コテナント、システムで同時に実行したほかのワークロードのタイプなどの条件によって、結果は異なります。 - SP5C-060: AWS m7a.4xl 平均スコアとクラウド OPEX 削減率を、BERT-Large- pruned80_quant-none.vnni モデルを FP32、バッチ サイズ = 1、128、256、入力トークン サイズ = 512、出力トークン サイズ = 512 で実行する M7i.4xl と比較。2024 年 6 月 11 日付けの米国東部 (オハイオ州) Linux® のオンデマンド料金を使用。M7i.4xl: $0.8064/時。M7a.4xl: $0.92736/時。記載されているクラウド パフォーマンスの結果は、試験を実施した日付の構成に基づいています。基本構成の変更、および VM とそのリソースの配置、クラウド サービス プロバイダーによる最適化、アクセスしたクラウド リージョン、コテナント、システムで同時に実行したほかのワークロードのタイプなどの条件によって、結果は異なります。
- SP5-185A: FAISS v1.7.4 実行時のワークロード処理のスループット 1000 は、2024 年 4 月 19 日時点での AMD 社内テストに基づきます。2P サーバー構成: 2P EPYC 9654 (96C/96T)、BIOS 1006C (SMT=off、NPS=1、Power Determinism)、1.5 TB (24x 64 GB DDR5-4800)、Samsung MZQL21T9HCJR-00A07 1.92 TB、8 インスタンスを実行している Ubuntu® 22.04.3 LTS/24 コア/インスタンス スコア 39.6 (スループット中央値) は 2P Xeon Platinum 8592+ (64C/64T) の 2.04 倍、BIOS 1.4.4 (HT=off、Profile=Maximum Performance)、1 TB (16x 64 GB DDR5-4800)、Intel SSDPF2KE032T1O 3.2 TB NVMe、8 インスタンスを実行している Ubuntu 22.04.3 LTS/16 コア/インスタンス スコア 19.4 (スループット中央値)。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- SP5-251: XGBoost 2.0.3 実行時のワークロード処理のスループットは、2024 年 4 月 19 日時点での AMD 社内テストに基づきます。2P サーバー構成: 2P EPYC 9654 (96C/192T)、BIOS 1006C (SMT=off、NPS=1、Power Determinism)、1.5 TB (24x 64 GB DDR5-4800)、Samsung MZQL21T9HCJR-00A07 1.92 TB、Ubuntu 22.04.3 LTS は、スコアが 203 エアライン中央値スループット (16 インスタンス/12 コア/インスタンスを実行) および 2057 ヒッグス中央値スループット (32 インスタンス/6 コア/インスタンスを実行) であり、2P Xeon Platinum 8592+ (64C/128T)、BIOS 1.4.4 (HT=off、Profile=Maximum Performance)、1 TB (16x 64 GB DDR5-4800)、Intel SSDPF2KE032T1O 3.2 TB NVMe、Ubuntu 22.04.3 LTS のスコアである 147 エアライン中央値スループット (8 インスタンス/16 コア/インスタンスを実行) および 1200 ヒッグス中央値スループット (4 インスタンス/32 コア/インスタンスを実行) と比較すると、パフォーマンスはそれぞれ 1.38 倍および 1.71 倍。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- SP5-184A: SciKit-Learning Random Forest v2023.2 airline_ohe データ セットのワークロード処理のスループットは、2024 年 4 月 19 日時点の AMD 社内テストに基づいています。2P サーバー構成: 2P EPYC 9654 (96C/96T)、BIOS 1006C (SMT=off、NPS=1、Power Determinism)、1.5 TB (24x 64 GB DDR5-4800)、2x Samsung MZQL21T9HCJR-00A07 1.7 TB、12 インスタンスを実行している Ubuntu® 22.04.3 LTS/16 コア/インスタンス スコア 166.8 (スループット中央値) は 2P Xeon Platinum 8592+ (64C/64T) の 1.36 倍、BIOS 1.4.4 (HT=off、Profile=Maximum Performance)、1 TB (16x 64 GB DDR5-4800)、Intel SSDPF2KE032T1O 3.2TB NVMe、8 インスタンスを実行している Ubuntu 22.04.3 LTS/16 コア/インスタンス スコア 123.1 (スループット中央値)。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- SP5-252: サードパーティのテスト OpenVINO 2023.2.dev での FPS 比較は、Phoronix レビュー https://www.phoronix.com/review/intel-xeon-platinum-8592/9 (2023 年 12 月 14 日時点) に記載されている次の一部の OpenVINO テストに基づいています。Vehicle Detection FP16、Person Detection FP16、Person Vehicle Bike Detection FP16、Road Segmentation ADAS FP16 および Face Detection Retail FP16。Road Segmentation ADAS FP16 は最大 2.36 倍の性能向上。AMD は、テストを独自に検証していません。スコアはシステム構成と、使用する決定モードによって異なります (Power Determinism を使用)。OpenVINO は、Intel Corporation またはその子会社の商標です。
- SP5-051A: TPCx-AI SF30 デリバティブ ワークロード比較テストは、2024 年 4 月 13 日に複数の VM インスタンスを実行した AMD 社内テストの結果に基づいています。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。AMD システム構成: プロセッサ: 2 x AMD EPYC 9654、周波数: 2.4 GHz | 3.7 GHz、コア数: ソケットあたり 96 個のコア (ソケットあたり 1 NUMA ドメイン)、L3 キャッシュ: 384 MB/ソケット (合計 768 MB)、メモリ: 1.5 TB (24) デュアルランク DDR5-5600 64 GB DIMM、1DPC (プラットフォームは最大 4800 MHz に対応)、NIC: 2 x 100 GbE Mellanox CX-5 (MT28800)、ストレージ: 3.2 TB Samsung MO003200KYDNC U.3 NVMe、BIOS: 1.56、BIOS 設定: SMT=ON、Determinism=Power、NPS=1、PPL=400W、Turbo Boost=Enabled、OS: Ubuntu® 22.04.3 LTS、試験構成: 6 インスタンス、64 vCPUs/インスタンス、2663 集約 AI ユース ケース/分。比較対象の Intel システム構成: プロセッサ: 2 x Intel® Xeon® Platinum 8592 +、周波数: 1.9 GHz | 3.9 GHz、コア数: ソケットあたり 64 個のコア (ソケットあたり 1 NUMA ドメイン)、L3 キャッシュ: 320 MB/ソケット (合計 640 MB)、メモリ: 1 TB (16) デュアルランク DDR5-5600 64 GB DIMM、1DPC、NIC: 4 x 1 GbE Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe、ストレージ: 3.84 TB KIOXIA KCMYXRUG3T84 NVMe、BIOS: ESE124B-3.11、BIOS 設定: Hyperthreading=Enabled、Turbo boost=Enabled、SNC=Disabled、OS: Ubuntu® 22.04.3 LTS、試験構成: 4 インスタンス、64 vCPU/インスタンス、1607 集約 AI ユース ケース/分。実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。 TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。